Kybernetika 49 2号, 199-215, 2013

指数族的最优逼近

约翰内斯·劳赫

摘要：

本文研究有限集上的指数族$\mathcal{E}$，使得任意概率分布的信息散度$D（P\|mathcal{E}$）$由某个常数$D>0$所限定。可以从状态空间的分区中获得一类具有低值$D$的特定低维指数族。主要结果涉及这些划分指数族的最优性性质。详细研究了$D=\log（2）$的情况。这种情况很特殊，因为如果$D<\log（2）$，那么$\mathcal{E}$包含所有具有完全支持的概率度量。

关键词：

指数族，信息散度

分类：

94A15、62B10、94A17

纸张.pdf

参考文献：

  1. N.Ay公司:语用结构理论的信息几何方法。 安·普罗巴伯。30 (2002), 416-436. 交叉参考
  2. N.Ay公司:有向非循环网络中全局随机相互作用的局部性。 神经计算。14 (2002), 2959-2980. 交叉参考
  3. L.布朗:统计指数族基础：在统计决策理论中的应用。 海沃思数理统计研究所，1986年。 交叉参考
  4. T.Cover和J.Thomas:信息理论的要素。第一版。 威利，1991年。 交叉参考
  5. I.Csiszár和P.Shields:信息理论与统计：教程。第一版。 通信和信息理论的基础和趋势。现在是Publishers，2004年。 交叉参考
  6. I.Csiszár和F.Matúsh:指数族的广义最大似然估计。 普罗巴伯。理论相关领域141（2008），213-246。 交叉参考
  7. S.Della Pietra、V.Della Petetra和J.Lafferty:诱导随机场的特征。 IEEE传输。模式分析与机器智能19（1997），380-393。 交叉参考
  8. M.Drton、B.Sturmfels和S.Sullivant:代数统计学讲座。 收录：Oberwolfach Seminars 39，Birkh{ä}用户，巴塞尔2009。 交叉参考
  9. D.Geiger、C.Meek和B.Sturmfels:关于图形模型的复曲面代数。 Ann.Statist公司。34 (2006), 5, 1463-1492. 交叉参考
  10. 杰恩斯:信息论和统计力学。 物理学。修订版106（1957），4620-630。 交叉参考
  11. J·尤里切克:多项式分布的信息分歧最大化。 卡罗琳大学学报。52 (2011), 1, 27-35. 交叉参考
  12. S.L.劳里岑:图形模型。第一版。 《牛津统计科学丛书》，牛津大学出版社，1996年。 交叉参考
  13. R.林斯克:感知网络中的自我组织。 IEEE计算机21（1988），105-117。 交叉参考
  14. F.Matúsh和N.Ay:关于指数族信息散度的最大化。 In：程序。WUPES’03，布拉格经济大学，2003年，第199-204页。 交叉参考
  15. F.Matúsh和J.Rauh:从指数族和临界性中最大化信息分歧。 2011年IEEE信息理论会议记录国际研讨会（ISIT2011），2011年。 交叉参考
  16. G.Montúfar、J.Rauh和N.Ay:受限玻尔兹曼机器的表示能力和近似误差。 收录于：NIPS，2011年。 交叉参考
  17. J.奥克斯利:拟阵理论。第一版。 牛津大学出版社，1992年，纽约。 交叉参考
  18. J.劳赫:从指数族中寻找信息散度的最大化子。 2011年莱比锡大学博士论文。 交叉参考
  19. J.劳赫:从指数族中找出信息散度的最大值。 IEEE传输。通知。理论57（2011），63236-3247。 交叉参考
  20. J.Rauh、T.Kahle和N.Ay:支持指数族和定向拟阵的集合。 国际。《近似推理》52（2011），5613-626。 交叉参考
  21. S.C.Zhu、Y.N.Wu和D.Mumford:最小最大熵原理及其在纹理建模中的应用。 神经计算9（1997），1627-1660。 交叉参考