托马斯·默克;蒙图法尔，圭多 因式分解的相互信息最大化。 （英语） Zbl 1513.94024号 凯贝内提卡 56，第5期，948-978（2020）. 摘要：我们研究了一组联合概率分布，这些联合概率分布最大化了边际集合上的平均多重信息。这些泛函充当代理，以较低的计算和估计复杂性最大化一组变量的多信息或两个子集变量的互信息。我们描述了最大化子及其与多信息和互信息最大化子的关系。 MSC公司： 94甲17 信息、熵的度量 62B10型 信息理论主题的统计方面 关键词：多信息;相互信息;发散最大化;边际规范问题;运输多面体 软件：德纳;SageMath公司;最小二乘法 PDF格式BibTeX公司 XML格式引用 \textit{T.Merkh}和\textit{G.Montúfar}，基贝内提卡56，编号5，948--978（2020；Zbl 1513.94024） 全文： 内政部 arXiv公司 参考文献： [1] Alemi，A。；费舍尔，I。；Dillon，J。；Murphy，K.，深度变分信息瓶颈。，致：ICLR，2017 [2] Ay，N.，《语用结构理论的信息几何方法》，Ann.Probab。30 (2002), 1, 416-436 ·Zbl 1010.62007年 ·doi:10.1214/aop/102010773 [3] Ay，N.，有向非循环网络中全局随机相互作用的局部性。，神经计算。14 (2002), 12, 2959-2980 ·Zbl 1079.68582号 ·网址：10.1162/089976602760805368 [4] 是，N。；北伯辛格。；德尔·R。；Güttler，F。；Olbrich，E.，《自主机器人的预测信息和探索行为》。，欧洲。物理学。J.B 63（2008），3329-339·Zbl 1189.93097号 ·doi:10.1140/epjb/e2008-00175-0 [5] 是，N。；Knauf，A.，《最大化多信息》。，Kybernetika 42（2006），5517-538·Zbl 1249.82011号 [6] 巴尔达萨雷，G。；Mirolli，M.，《内在激励学习系统：概述》。，In:自然和人工系统中的内在动机学习，Springer 2013，第1-14页·doi:10.1007/978-3642-32375-1_1 [7] 波多，P。；塔皮亚，M。；本杰明·D·。；Goaillard，J.-M.，拓扑信息数据分析。，熵21（2019），9，869·doi:10.3390/e21090869 [8] Bekkerman，R。；萨哈米，M。；Learnd-Miller，E.，组合马尔可夫随机场。，摘自：欧洲机器学习会议，Springer 2006，第30-41页·doi:10.1007/11871842_8 [9] 马里兰州贝尔加齐。；巴拉汀，A。；Rajeshwar，S。；Ozair，S。；Y.本吉奥。；科尔维尔，A。；Hjelm，D.，互信息神经估计。，In：程序。第35届机器学习国际会议（J.Dy和A.Krause，eds.），《机器学习研究论文集》第80卷，第531-540页，2018年斯德哥尔摩。PMLR公司 [10] 北伯辛格。；Rauh，J。；Olbrich，E。；Jost，J。；Ay，N.，量化独特信息。，熵16（2014），4，2161-2183·doi:10.3390/e16042161 [11] 比亚莱克，W。；内曼，I。；Tishby，N.，《可预测性、复杂性和学习》。，神经计算。13 (2001), 11, 2409-2463 ·Zbl 0993.68045号 ·doi:10.1162/089976601753195969 [12] Burda，Y。；爱德华兹，H。；Pathak，D。；Storkey，A。；Darrell，T。；Efros，A.A.，《好奇驱动学习的大规模研究》。，In:ICLR，2019年 [13] Buzzi，J。；Zambotti，L.，复杂泛函的近似最大化。，普罗巴伯。理论相关领域153（2012），3-4，421-440·Zbl 1261.94019号 ·doi:10.1007/s00440-011-0350-y [14] Chentanez，N。；巴托，A.G。；辛格，S.P.，《内在动机强化学习》。，In：高级神经信息。过程。《系统2005》，第1281-1288页·doi:10.21236/ada440280 [15] 克拉奇菲尔德，J.P。；Feldman，D.P.，《与环境同步：智能体学习的信息论约束》。，高级复杂系统4（2001），02n03251-264·Zbl 1036.94004号 ·doi:10.1142/s02195259010019x [16] Loera，J.de，《运输多功能》·Zbl 1383.05072号 [17] 弗里德曼，N。；O.莫森森。；Slonim，N。；Tishby，N.，《多元信息瓶颈》。，In：程序。第十七届人工智能不确定性会议，摩根考夫曼出版社，2001年，第152-161页 [18] 加布里，M。；Manoel，A。；卢诺，C。；巴比尔。；麦克里斯，北。；Krzakala，F。；Zdeborová，L.，深度神经网络模型中的熵和互信息。，摘自：《神经信息处理系统进展》31（S.Bengio、H.Wallach、H.Larochelle、K.Grauman、N.Cesa-Bianchi和R.Garnett编辑），Curran Associates，Inc.2018，第1821-1831页 [19] 高，S。；Steeg，G.Ver；Galstyan，A.，强相依变量互信息的有效估计。，摘自：《2015年人工智能与统计》，第277-286页 [20] 赫杰尔姆·R·D。；Fedorov，A。；Lavoie-Marchildon，S。；格雷瓦尔（Grewal，K.）。；巴赫曼，P。；Trischler，A。；Y.Bengio。，通过相互信息、表示、最大化学习深度表示。在国际学习会议上。2019 [21] 霍斯顿，S。；Sullivant，S.，Gröbner碱和可约和循环模型的多面体几何。，J.库姆。理论Ser。A 100（2002），2277-301·Zbl 1044.62065号 ·doi:10.1006/jcta.2002.3301 [22] 雅库林，A。；Bratko，I.，《量化和可视化属性交互：基于熵的方法》。，2003 [23] Klyubin，A.S。；Polani，D。；Nehaniv，C.L.，《授权：以代理为中心的通用控制措施》。，摘自：2005年IEEE进化计算大会，第1卷，IEEE 2005，第128-135页 [24] Kraskov，A。；Stögbauer，H./；Grassberger，P.，《估计相互信息》。，物理学。修订版E 69（2004），066138·doi:10.103/千年收入69.066138 [25] Matúš，F.，二进制身份识别序列的信息分歧最大化。，In：程序。IPMU 2004年2月（2004），第1303-1306页 [26] Matúš，F.，可分解分布的发散性和分区拟阵表示。，IEEE传输。信息Theor。55 (2009), 12, 5375-5381 ·Zbl 1367.94136号 ·doi:10.10109/时间.2009.2032806 [27] 马图什，F。；Ay，N.，关于指数族信息散度的最大化。，In：程序。第六届不确定性处理研讨会：Oeconomica 2003，Hejnice 2003，pp.199-204 [28] 马图什，F。；Rauh，J.，指数族信息分歧最大化和临界性。，2011年IEEE信息理论国际研讨会论文集2011，第903-907页·doi:10.1109/isit.2011.6034269 [29] McGill，W.，《多元信息传输》。，事务处理。IRE教授。小组通知。理论4（1054），493-111·doi:10.1109/tit.1954.1057469 [30] 穆罕默德，S。；Rezende，D.J.，《内在激励强化学习的变量信息最大化》。，主题：神经信息处理系统进展2015，2125-2133，2015 [31] Montüfar，G.，具有离散单元的窄信念网络的通用近似深度和误差。，神经计算。26 (2014), 7, 1386-1407 ·Zbl 1419.62014号 ·doi:10.1162/neco\a\_00601 [32] 蒙图法尔，G。；Ghazi-Zahedi，K。；Ay，N.，体现系统中廉价控制的理论。，PLOS计算。生物学11（2015），9，1-22·doi:10.1371/journal.pcbi.1004427 [33] 蒙图法尔，G。；Ghazi-Zahedi，K。；Ay，N.，《信息在理论上有助于具体代理的强化学习》。，arXiv预印arXiv:1605.097352016 [34] 蒙图法尔，G。；Rauh，J。；Ay，N.，受限Boltzmann机器的表示能力和近似误差。，2011年神经信息处理系统进展，第415-423页 [35] 蒙图法尔，G。；Rauh，J。；Ay，N.，神经网络定义的统计模型的最大信息差异。，收录于：《信息几何科学》GSI 2013（F.Nielsen和F.Barbaresco，eds.），《计算机科学讲义》3085 Springer 2013，第759-766页·兹比尔1322.62060 ·doi:10.1007/978-3-642-40020-985 [36] Rauh，J.，从指数族中找出信息分歧的最大值。，IEEE传输。通知。理论57（2011），63236-3247·Zbl 1365.94160号 ·doi:10.1109/tit.2011.2136230 [37] Rauh，J.，《从指数族中寻找信息分歧的最大化器》。，博士。2011年莱比锡大学论文·Zbl 1365.94160号 [38] Ince，R.A.A。；数量，S.Panzeri；Schultz，S.R.，《信息理论概要》，纽约，第1-6页，施普林格出版社，2013年 [39] Roulston，M.S.，估计测量熵和互信息的误差。，《物理学D：非线性现象》125（1999），3-4，285-294·Zbl 0935.94013号 ·doi:10.1016/s0167-2789（98）00269-3 [40] 肖索，J。；阿达米，C。；Hintze，A.，《信息论神经相关促进认知系统的进化》。，熵18（2015），1，6·数字对象标识代码：10.3390/e18010006 [41] Slonim，N。；阿特瓦尔，G.S。；Tkacik，G。；Bialek，W.，估计大型网络中的互信息和多信息。，arXiv预印本cs/0502017，2005 [42] Slonim，N。；弗里德曼，N。；Tishby，N.，《多元信息瓶颈》。，神经计算。18 (2006), 8, 1739-1789 ·兹比尔1125.68042 ·doi:10.1116/neco.2006.18.1739 [43] 斯蒂尔，S。；Precup，D.，《好奇驱动强化学习的信息理论方法》。，理论生物科学。131 (2012), 3, 139-148 ·doi:10.1007/s12064-011-0142-z [44] 开发者，The Sage，SageMath，The Sage数学软件系统（8.7版），2019年。，https://www.sagemath.org [45] Tishby，北。；佩雷拉，F.C。；Bialek，W.，《信息瓶颈方法》。，In：程序。1999年第37届Allerton通信、控制和计算年会，第368-377页 [46] Vergara，J.R。；Estévez，P.A.，基于互信息的特征选择方法综述。，神经计算。申请。24 (2014), 1, 175-186 ·doi:10.1007/s00521-013-1368-0 [47] Watanabe，S.，多元相关性的信息理论分析。，IBM J.Res.Develop公司。4 (1960), 1, 66-82 ·Zbl 0097.35003号 ·数字对象标识代码：10.1147/rd.41.0066 [48] Witsenhausen，H.S。；Wyner，A.D.，一对离散随机变量的条件熵界。，IEEE传输。通知。理论21（1075），5493-501·Zbl 0338.94013号 ·doi:10.1109/tit.1975.1055437 [49] 耶梅利切夫，V。；科瓦列夫，M。；Kravtsov，M.，《多面体、图和优化》。，剑桥大学出版社，1984年·Zbl 0523.52002号 [50] Zahedi，K。；是，N。；Der，R.，《高协调少控制：感觉运动回路中信息最大化的结果》。，适应性行为18（2010），3-4，338-355·doi:10.1177/1059712310375314 [51] Zahedi，K。；马蒂乌斯，G。；Ay，N.，在情景政策梯度设置中，一步预测信息与外部奖励的线性组合：批判性分析。，前面。精神病。（2013），40801·doi:10.3389/fpsyg.2013.00801 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。