×

连续最大熵分布的可计算性及其应用。 (英语) Zbl 1507.90129号

摘要:我们研究了以下问题:给定一个连续域(Omega)及其凸壳(mathcal{K})、一个点(a\in\mathcal{K})和(Omega\)上的一个测度(mu\),求出其边缘为(a\)的概率密度,并将KL散度最小化为关于(mu\。数学、物理、统计学和理论计算机科学中的几个分布是由这个问题的参数的不同设置引起的。我们给出了对偶问题优化器范数上的一个多项式界,它在一个非常一般的设置中成立,并依赖于(Omega)上测度(mu)的“平衡”性质,以及在几个有趣的设置中计算对偶及其梯度的精确算法。结合椭球方法,这些结果意味着多项式时间算法可以在几种情况下计算此类KL散度最小化分布。我们的结果的应用包括(1)Goemans-Williamson测度的优化特征[M.X.戈曼斯D.P.威廉姆森,J.协会计算。机器。42,第6期,1115–1145(1995年;Zbl 0885.68088号)]用于将半正定矩阵舍入为向量;(2) 给定强积分预言,凸体的熵势垒的可计算性由S.Bubeck公司R.埃尔丹[“熵势垒:一个简单且最优的通用自洽势垒”,预印本,arXiv:1412.1587]以及(3)计算密度矩阵重心量子熵的多项式时间算法,该密度矩阵被提议作为冯·诺依曼熵的替代方案[W.波段J.L.公园,“量子统计的新信息理论基础”,发现。物理学。6, 249–262 (1976;doi:10.1007/BF00708800);J.L.公园W.波段,“严格信息-量子统计热力学的理论推导。I”,发现。物理学。7, 233–244 (1977;doi:10.1007/BF00709009);P.B.斯莱特,“密度矩阵的重心和冯·诺依曼熵之间的关系”,《物理学》。莱特。A、 159,编号8-9,411-414(1991;doi:10.1016/0375-9601(91)90371-E)]; 这与以下情况相对应:(Omega)是秩一投影矩阵集,并且(mu)是从单位球面上的Haar测度导出的。

理学硕士:

90C25型 凸面编程
20年第49季度 几何测量理论环境中的变分问题
58立方厘米35 流形上的积分;流形上的测度
第81页,共17页 量子熵

软件:

斯提费尔
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] Allen-Zu,Z.,Li,Y.,Oliveira,R.和Wigderson,A.,《矩阵缩放的更快算法》,收录于《FOCS’17:第58届IEEE计算机科学基础研讨会论文集》,IEEE,新泽西州皮斯卡塔韦,2017年,第890-901页。
[2] 阿诺德,B.C.,《多数化与洛伦兹秩序:简介》,Lect。Notes Stat.43,柏林施普林格,2012年。
[3] Asadpour,A.,Goemans,M.X.,Madry,A.,Gharan,S.O.,and Saberi,A.,An(O(\log n/\log \log n)-非对称旅行商问题的近似算法,Oper。第65号决议(2017年),第1043-1061页·Zbl 1380.90229号
[4] Band,W.和Park,J.L.,《量子统计的新信息理论基础》,Found。物理。,6(1976),第249-262页,doi:10.1007/BF00708800。
[5] Ben-Tal,A.和Nemirovski,A.,《优化III:凸分析,非线性规划理论,非线性规划算法》,讲稿,2012年,https://www2.isye.gatech.edu/nemirovs/OPTIII_2018_Transp.pdf
[6] Bingham,C.,《球面上的反足对称分布》,Ann.Stat.,2(1974),第1201-1225页,doi:10.1214/aos/1176342874·Zbl 0297.62010
[7] Bubeck,S.,《个人通信》,2021年。
[8] Bubeck,S.和Eldan,R.,《熵障碍:一个简单且最优的通用自协调障碍》,载于《第28届学习理论会议论文集》,机器学习研究论文集第40卷,PMLR,法国巴黎,2015年7月3日至6日,第279-279页,http://proceedings.mlr.press/v40/Bubeck15b.html。
[9] Chewi,S.,熵屏障是n-Self-Concordant,预印本,https://arxiv.org/abs/2112.10947 (2021).
[10] Cohen,M.B.、Madry,A.、Tsipras,D.和Vladu,A.,通过框约束牛顿法和内点法进行矩阵缩放和平衡,收录于《FOCS’17:第58届IEEE计算机科学基础年会论文集》,IEEE,新泽西州皮斯卡塔韦,2017年,第902-913页。
[11] Cover,T.M.和Thomas,J.A.,《信息理论要素》,威利,纽约,2012年。
[12] Dai,W.,Liu,Y.,and Rider,B.,格拉斯曼流形上的量化界限及其在mimo通信中的应用,IEEE Trans。通知。《理论》,54(2008),第1108-1123页·Zbl 1311.94043号
[13] Dudík,M.、Phillips,S.J.和Schapire,R.E.,《广义正则化最大熵密度估计及其在物种分布建模中的应用》,J.Mach。学习。Res.,8(2007),第1217-1260页·Zbl 1222.62010年
[14] Duistermaat,J.J.和Heckman,G.J.,关于约化相空间辛形式上同调的变化,发明。数学。,69(1982),第259-268页,doi:10.1007/BF01399506·Zbl 0503.58015号
[15] Garg,A.、Gurvits,L.、Oliveira,R.和Wigderson,A.,《算符缩放:理论和应用,发现》。计算。数学。,(2015),第1-68页。
[16] Goemans,M.X.和Williamson,D.P.,使用半定规划求解最大割和可满足性问题的改进近似算法,J.ACM,42(1995),pp.1115-1145,doi:10.1145/227683.2276884·兹伯利0885.68088
[17] Gromov,M.,凸集和Kahler流形,《微分几何和拓扑进展》,世界科学,1990年,第1-38页,doi:10.1142/97814439381_0001·Zbl 0770.53042号
[18] Güler,O.,内点法中的屏障函数,数学。操作。Res.,21(1996),第860-885页·Zbl 0867.90090号
[19] Güler,O.,关于普适势垒函数的自洽性,SIAM J.Optimiz。,7(1997),第295-303页,doi:10.1137/S10526234952180X·Zbl 0872.90071号
[20] Güler,O.和Tunçel,L.,齐次凸锥势垒参数的表征,数学。程序。,81(1998),第55-76页,doi:10.1007/BF01584844·Zbl 0919.90124号
[21] Gurvits,L.和Samorodnitsky,A.,用于近似混合判别和混合体积的确定多项式时间算法,以及组合推论,离散计算。几何。,27(2002),第531-550页·Zbl 1008.68145号
[22] Harish-Chandra,半单李代数上的微分算子,Amer。数学杂志。,79(1957),第87-120页,http://www.jstor.org/stable/2372387。 ·Zbl 0072.01901号
[23] Hoff,P.D.,矩阵Bingham-von-Mises-Fisher分布的模拟,及其在多元和关系数据中的应用,J.Compute。图表。统计人员。,18(2009),第438-456页,http://www.jstor.org/stable/25651254。
[24] Horn,A.,双重随机矩阵和旋转矩阵的对角线,Amer。数学杂志。,76(1954年),第620-630页·兹比尔0055.24601
[25] Itzykson,C.和Zuber,J.,《平面近似》。二、 数学杂志。物理。,21(1980),第411-421页,doi:10.1063/1.524438·Zbl 0997.81549号
[26] Jaynes,E.T.,信息理论和统计力学,物理学。修订版(2),106(1957),第620-630页,doi:10.1103/PhysRev.106.620·Zbl 0084.43701号
[27] Jaynes,E.T.,《信息理论与统计力学》。II、 物理。修订版(2),108(1957),第171-190页,doi:10.1103/PhysRev.108.171·Zbl 0084.43701号
[28] Jaynes,E.T.,《信息理论与统计力学》。ii,物理。修订版,108(1957),第171-190页,doi:10.103/PhysRev.108.171,doi:10.103/PhysRev.108.171。
[29] Khatri,C.G.和Mardia,K.V.,《定向统计中的Von Mises-Fisher矩阵分布》,J.Roy。统计师。Soc.序列号。B、 39(1977年),第95-106页,http://www.jstor.org/stable/2984884。 ·Zbl 0356.62044号
[30] Klartag,B.,《关于有界各向同性常数的凸扰动》,Geom。功能。分析。,16(2006),第1274-1290页,doi:10.1007/s00039-006-0588-1·2014年11月13日
[31] Leake,J.、McSwiggen,C.和Vishnoi,N.K.,《Harish-Chandra-Itzykson-Zuber密度的采样矩阵及其在量子推断和微分隐私中的应用》,载于《第53届ACM SIGACT年度计算理论研讨会论文集》,ACM,纽约,2021年,第1384-1397页·Zbl 07765256号
[32] Leake,J.和Vishnoi,N.K.,《关于连续最大熵分布的可计算性:李群的伴随轨道》,第52届ACM SIGACT计算理论年会论文集,ACM,纽约,2020年,第930-943页·Zbl 07298299号
[33] Lovász,L.和Vempala,S.,《对数凹函数的快速算法:采样、舍入、积分和优化》,载于2006年第47届IEEE计算机科学基础研讨会(FOCS’06),IEEE计算机学会,加利福尼亚州洛斯阿拉米托斯,2006年,第57-68页。
[34] Nesterov,Y.和Nemirovskii,A.,凸规划中的内点多项式算法,第13卷,SIAM,1994年·Zbl 0824.90112号
[35] Nesterov,Y.和Nemirovskii,A.S.,凸规划中的内点多项式算法,SIAM,费城,1994,doi:10.1137/1.9781611970791·Zbl 0824.90112号
[36] Park,J.L.和Band,W.,量子统计热力学的严格信息理论推导。一、 已找到。物理。,7(1977),第233-244页,doi:10.1007/BF00709009。
[37] Pinasco,D.,通过Bombieri不等式得到多项式乘积范数的下界,Trans。阿默尔。数学。Soc.,364(2012),第3993-4010页·Zbl 1283.30004号
[38] Renegar,J.,《凸优化中内点方法的数学观点》,SIAM,费城,2001年·兹比尔0986.90075
[39] 舒尔,I.,《Uber eine klasse von mittelbildungen mit an wendungen auf die determinatentantheorye》,《柏林数学学报》,22(1923),第9-29页。
[40] Singh,M.和Vishnoi,N.K.,《熵、优化和计数》,第46届美国计算机学会计算理论研讨会论文集,美国计算机学会,纽约,2014年,第50-59页·Zbl 1315.94027号
[41] Slater,P.B.,密度矩阵重心和冯·诺依曼熵之间的关系,物理学。莱特。A、 159(1991),第411-414页,doi:10.1016/0375-9601(91)90371-E。
[42] Slater,P.B.,低维自旋系统的最小相对熵,物理学。A、 182(1992),第145-154页。
[43] Straszak,D.和Vishnoi,N.K.,《最大熵分布:比特复杂性和稳定性》,Proc。机器。学习。Res.(PMLR),99(2019),第2861-2891页,http://proceedings.mlr.press/v99/straszak19a.html。
[44] Vergne,M.,凸多面体与辛流形的量子化,Proc。国家。阿卡德。科学。美国,93(1996),第14238-14242页,doi:10.1073/pnas.93.25.14238·Zbl 0864.58022号
[45] Vershynin,R.,随机矩阵非渐近分析导论,预印本,arXiv:101011.30272010。
[46] Vishnoi,N.K.,凸优化算法,剑桥大学出版社,剑桥,2021,doi:10.1017/9781108699211·Zbl 1522.90001号
[47] von Neumann,J.和Beyer,R.,《量子力学的数学基础》,Goldstine印刷材料,普林斯顿大学出版社,1955年·Zbl 0064.21503号
[48] Wright,M.H.,《优化中的内部点革命:历史、近期发展和持久后果》,公牛。阿默尔。数学。《社会学杂志》,42(2005),第39-56页·Zbl 1114.90153号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。