里沙布·杜德加;Lu，Yue M。;苏巴巴拉·森 用半随机矩阵传递近似消息的普遍性。 （英语） Zbl 07793388号 安·普罗巴伯。 51，编号5，1616-1683（2023）. 摘要：近似消息传递（AMP）是一类迭代算法，在高维统计和机器学习的许多问题中都有应用。在其一般形式中，AMP可以表示为由矩阵（mathbf{M}）驱动的迭代过程。AMP的理论分析通常假设\（\mathbf｛M｝\）具有较强的分布性质，例如\（\mathbf｛M｝\）具有i.i.d.次高斯项或来自旋转不变系综。然而，数值实验表明，只要（mathbf{M}）的特征向量是通用的，AMP的行为就是通用的。在本文中，我们迈出了严格理解这一普遍现象的第一步。特别地，我们研究了一类无记忆AMP算法（由B.切阿克马克和M.Opper先生对于平均场伊辛自旋玻璃[Phys.Rev.E 99，No.6，Article ID 062140，14 p.（2019；doi:10.1103/PhysRevE.99.062140)])并证明了它们的渐近动力学在一大类半随机矩阵上是普遍的。除了将标准旋转不变系综作为特例外，我们在本工作中定义的半随机矩阵类还包括用非常有限的随机性构造的矩阵。其中一个例子是正弦模型的随机签名版本，由E.马里纳里等[J.Phys.A，《数学杂志》第27期，第23期，7647–7668（1994；Zbl 0843.60097号)]对于具有完全确定性耦合的自旋玻璃。 引用于1文件 MSC公司： 82B20型 格系统（伊辛、二聚体、波茨等）和平衡统计力学中出现的图上系统 60对20 随机矩阵（概率方面） 68瓦40 算法分析 82个B44 平衡统计力学中的无序系统（随机伊辛模型、随机薛定谔算子等） 82天30分 随机介质、无序材料（包括液晶和自旋玻璃）的统计力学 关键词：消息传递;随机矩阵;旋转眼镜;普遍性 引文：Zbl 0843.60097号 PDF格式BibTeX公司 XML格式引用 \textit{R.Dudeja}等人，Ann.Probab。51，第5号，1616--1683（2023；Zbl 07793388） 全文： DOI程序 arXiv公司 参考文献： [1] ABBARA，A.、BAKER，A.、KRZAKALA，F.和ZDEBOROVá，L.（2020年）。关于测量矩阵无噪线性估计的普遍性。J.Phys。A 53 164001，14。数字对象标识符：10.1088/1751-8121/ab59ef谷歌学者：查找链接数学科学网：MR4084286·Zbl 1514.62083号 ·doi:10.1088/1751-8121/ab59ef [2] ANDERSON，G.W.和FARRELL，B.（2014）。随机酉矩阵序列的渐近释放。高级数学。255 381-413. 数字对象标识符：10.1016/j.aim.2013.12.026谷歌学者：查找链接数学科学网：MR3167487·兹比尔1290.60003 ·doi:10.1016/j.aim.2013.12.026 [3] 白志德和尹永清（2008）。大维样本协方差矩阵最小特征值的极限。《统计学进展》108-127。世界科学·Zbl 0779.60026号 [4] Bai，Z.D.和Yin，Y.Q.（1988）。Wigner矩阵最大特征值几乎必然收敛的充要条件。16 1729-1741. 数学科学网：MR0958213·Zbl 0677.60038号 [5] Bayati，M.、Lelarge，M.和Montanari，A.（2015）。多面体相变和消息传递算法中的普遍性。附录申请。普罗巴伯。25 753-822. 数字对象标识符：10.1214/14-AAP1010谷歌学者：查找链接数学科学网：MR3313755·Zbl 1322.60207号 ·doi:10.1214/14-AAP1010 [6] Bayati，M.和Montanari，A.（2011年）。消息在密集图形上传递的动力学，以及压缩感知的应用。IEEE传输。信息论57 764-785。数字对象标识符：10.1109/TIT.2010.2094817谷歌学者：查找链接数学科学网：MR2810285·Zbl 1366.94079号 ·doi:10.1109/TIT.2010.2094817 [7] Bean，D.、Bickel，P.J.、El Karoui，N.和Yu，B.（2013）。高维回归中的最优M估计。程序。国家。阿卡德。科学。美国110 14563-14568。 [8] BENAYCH-GEORGES，F.和KNOWLES，A.（2017年）。Wigner矩阵的局部半圆定律。随机矩阵高级主题。帕诺。Synthèses第53 1-90页。社会数学。法国，巴黎。数学科学网：MR3792624·Zbl 1403.60012号 [9] Bercu，B.、Delyon，B.和Rio，E.（2015）。和与鞅的集中不等式。施普林格数学简介。查姆施普林格。数字对象标识符：10.1007/978-3-319-22099-4谷歌学者：查找链接数学科学网：MR3363542·Zbl 1337.60002号 ·doi:10.1007/978-3-319-22099-4 [10] Berthier，R.、Montanari，A.和Nguyen，P.-M（2020）。具有不可分离函数的近似消息传递的状态演化。Inf.推理9 33-79。数字对象标识符：10.1093/imaiai/iay021谷歌学者：查找链接MathSciNet:MR4079177·Zbl 1470.94003号 ·doi:10.1093/imaiai/iay021 [11] BLOEMENDAL，A.、ERDŐS，L.、KNOWLES，A.、YAU，H.-T.和YIN，J.（2014）。样本协方差和广义Wigner矩阵的各向同性局部律。电子。J.概率。19编号33、53。数字对象标识符：10.1214/ejp.v19-3054谷歌学者：查找链接数学科学网：MR3183577·Zbl 1288.15044号 ·doi:10.1214电子邮箱.v19-3054 [12] Bolthausen，E.（2014）。Sherington-Kirkpatrick模型TAP方程解的迭代构造。公共数学。物理学。325 333-366. 数字对象标识符：10.1007/s00220-013-1862-3谷歌学者：查找链接数学科学网：MR3147441·Zbl 1288.82038号 ·文件编号：10.1007/s00220-013-1862-3 [13] Boucheron，S.、Lugosi，G.和Massart，P.（2013）。集中不等式：独立性的非渐近理论。牛津大学出版社，牛津。米歇尔·勒杜（Michel Ledoux）的前言。数字对象标识符：10.1093/acprof:oso/9780199535255.001.0001谷歌学者：查找链接数学科学网：MR3185193·Zbl 1337.60003号 ·doi:10.1093/acprof:oso/9780199535255.001.0001 [14] BRITANAK，V.、YIP，P.C.和RAO，K.R.（2007）。离散余弦和正弦变换：一般性质，快速算法和整数近似。爱思唯尔/学术出版社，阿姆斯特丹。数学科学网：MR2293207 [15] J AKMAK，B.和OPPER，M.（2019年）。具有随机耦合矩阵任意旋转不变系综的伊辛模型的Thouless-Anderson-Palmer方程的无记忆动力学。物理学。版次：E 99 062140，14。数学科学网：MR3984544 [16] Carmona，P.和Hu，Y.（2006）。谢灵顿-柯克帕特里克自旋玻璃模型的普遍性。亨利·彭加雷·普罗巴布（Henri PoincaréProbab）安·Inst。统计数字42 215-222。数字对象标识符：10.1016/j.anihpb.2005.04.001谷歌学者：查找链接数学科学网：MR2199799·Zbl 1099.82005年 ·文件编号：10.1016/j.anihpb.2005.04.001 [17] CELENTANO，M.、CHENG，C.和MONTANARI，A.（2021年）。随机数据一阶方法的高维渐近性。arXiv预印本arXiv：2112.07572。 [18] CHATTERJEE，S.（2005）。一个简单的不变性定理。arXiv预打印arXiv:math/0508213。 [19] 陈伟凯和林伟凯（2021）。近似消息传递算法的普遍性。电子。J.概率。26第36、44号论文。数字对象标识符：10.1214/21-EJP604谷歌学者：查找链接数学科学网：MR4235487·兹比尔1483.60007 ·doi:10.1214/21-EJP604 [20] COVER，T.M.（1965）。线性不等式组的几何和统计性质及其在模式识别中的应用。IEEE传输。电子。计算。EC-14 326-334。数字对象标识符：10.1109/PGEC.1965.264137谷歌学者：查找链接·Zbl 0192.08403号 ·doi:10.1109/PGEC.1965.264137 [21] Donoho，D.和Montanari，A.（2016）。高维稳健M估计：通过近似消息传递的渐近方差。普罗巴伯。理论相关领域166 935-969。数字对象标识符：10.1007/s00440-015-0675-z谷歌学者：查找链接数学科学网：MR3568043·Zbl 1357.62220号 ·doi:10.1007/s00440-015-0675-z [22] DONOHO，D.和TANNER，J.（2009）。观察到高维几何中相变的普遍性，对现代数据分析和信号处理具有启示。菲洛斯。事务处理。R.Soc.伦敦。序列号。数学。物理学。工程科学。367 4273-4293. 在线提供电子补充材料。数字对象标识符：10.1098/rsta.2009.0152谷歌学者：查找链接数学科学网：MR2546388·Zbl 1185.94029号 ·doi:10.1098/rsta.2009.0152 [23] Donoho，D.L.、Maleki，A.和Montanari，A.（2009年）。压缩感知的消息传递算法。程序。国家。阿卡德。科学。美国106 18914-18919。 [24] DONOHO，D.L.和TANNER，J.（2010）。计算随机投影超立方体和正方形的面，以及应用程序。离散计算。地理。43 522-541。数字对象标识符：10.1007/s00454-009-9221-z谷歌学者：查找链接数学科学网：MR2587835·Zbl 1191.52004号 ·doi:10.1007/s00454-00921-9221-z [25] 杜德加·R和巴赫希扎德·M（2022）。结构传感矩阵相位恢复中线性化消息传递的普遍性。IEEE传输。信息理论68 7545-7574。数学科学网：MR4524656 [26] 杜德加·R、卢·Y·M和森·S（2023）。补充“使用半随机矩阵传递近似消息的普遍性”https://doi.org/10.1214/23-AOP1628SUPP网站 [27] EFRON，B.和STEIN，C.（1981年）。方差的折刀估计。安。统计师。9 586-596. 数学科学网：MR0615434·Zbl 0481.62035号 [28] ERDŐS，L.、SCHLEIN，B.和YAU，H.-T.（2009）。Wigner随机矩阵的局部半圆律和完全离域。公共数学。物理学。287 641-655. 数字对象标识符：10.1007/s00220-008-0636-9谷歌学者：查找链接数学科学网：MR2481753·邮编：1186.60005 ·doi:10.1007/s00220-008-0636-9 [29] ERDŐS，L.和YAU，H.-T.（2017）。随机矩阵理论的动力学方法。数学课程讲稿28。纽约科朗数学科学研究所；阿默尔。数学。Soc.，Providence，RI.数学科学网：MR3699468·Zbl 1379.15003号 [30] 范，Z。（2022）。旋转不变矩阵的近似消息传递算法。安。统计师。50 197-224. 数字对象标识符：10.1214/21-aos2101谷歌学者：查找链接数学科学网：MR4382014·Zbl 1486.94026号 ·doi:10.1214/21-aos2101 [31] 樊，Z.，LI，Y.和SEN，S.（2022）。高温下正交不变自旋玻璃的TAP方程。arXiv预打印arXiv:2202.09325。 [32] 范振英（2021）。具有正交不变耦合的伊辛自旋玻璃的复制对称自由能。arXiv预打印arXiv:2105.02797。 [33] FARRELL，B.（2011年）。离散傅立叶变换矩阵限制的经验奇异值分布的限制。J.傅里叶分析。申请。17 733-753. 数字对象标识符：10.1007/s00041-010-9156-z谷歌学者：查找链接数学科学网：MR2819175·Zbl 1228.60014号 ·doi:10.1007/s00041-010-9156-z [34] GERBELOT，C.、ABBARA，A.和KRZAKALA，F.（2020年）。高斯矩阵外高维凸惩罚线性回归的渐近误差。《第三十三届学习理论会议论文集》（J.Abernethy和S.Agarwal主编）。机器学习研究论文集125 1682-1713。PMLR公司。 [35] GERBELOT，C.、ABBARA，A.和KRZAKALA，F.（2023年）。师生凸广义线性模型的渐近误差（或：如何证明Kabashima的复制公式）。IEEE传输。信息理论69 1824-1852。数字对象标识符：10.1109/tit.2022.3222913谷歌学者：查找链接数学科学网：MR4564683·doi:10.1109/tit.2022.3222913 [36] HASTIE，T.、MONTANARI，A.、ROSSET，S.和TIBSHIRANI，R.J.（2022年）。高维无脊最小二乘插值的惊喜。安。统计师。50 949-986. 数字对象标识符：10.1214/21-aos2133谷歌学者：查找链接数学科学网：MR4404925·Zbl 1486.62202号 ·doi:10.1214/21-aos2133 [37] 霍普菲尔德，J.J.（1982）。具有涌现集体计算能力的神经网络和物理系统。程序。国家。阿卡德。科学。美国79 2554-2558。数字对象标识符：10.1073/pnas.79.8.554谷歌学者：查找链接数学科学网：MR0652033·Zbl 1369.92007号 ·doi:10.1073/pnas.79.8.2554 [38] HU，H.和LU，Y.M.（2023年）。具有随机特征的高维学习的普遍规律。IEEE传输。Inf.理论69 1932-1964。数学科学网：MR4564688 [39] Javanmard，A.和Montanari，A.（2013）。一般近似消息传递算法的状态演化，以及空间耦合应用。Inf.推理2 115-144。数字对象标识符：10.1093/imaiai/iat004谷歌学者：查找链接MathSciNet:MR3311445·兹比尔1335.94015 ·doi:10.1093/imaiai/iat004 [40] KABASHIMA，Y.（2003年）。一种基于置信传播的CDMA多用户检测算法。甲36 11111-1121。数字对象标识符：10.1088/0305-4470/36/43/030谷歌学者：查找链接数学科学网：MR2025247·Zbl 1081.94509号 ·doi:10.1088/0305-4470/36/43/030 [41] KORADA，S.B.和MONTANARI，A.（2011年）。林德伯格原理在通信和统计学习中的应用。IEEE传输。信息论57 2440-2450。数字对象标识符：10.1109/TIT.2011.2112231谷歌学者：查找链接MathSciNet:MR2809100·Zbl 1366.60063号 ·doi:10.1109/TIT.2011.2112231 [42] LU Y.M.（2021）。Householder dice：一种无矩阵算法，用于模拟高斯和随机正交系综上的动力学。IEEE传输。信息理论67 8264-8272。数字对象标识符：10.1109/TIT.2021.3114351谷歌学者：查找链接数学科学网：MR4346087·Zbl 1492.37057号 ·doi:10.1109/TIT.2021.3114351 [43] MA，J.、DUDEJA，R.、XU，J.，MALEKI，A.和WANG，X.（2021）。相位恢复的谱方法：期望传播观点。IEEE传输。信息理论67 1332-1355。数字对象标识符：10.1109/TIT.2021.3049172谷歌学者：查找链接数学科学网：MR4232014·Zbl 1465.94024号 ·doi:10.1109/TIT.2021.3049172 [44] MA，J.和PING，L.（2017）。正交放大器。IEEE接入5 2020-2033。 [45] MAILLARD，A.、LOUREIRO，B.、KRZAKALA，F.和ZDEBOROVá，L.（2020年）。高维相位恢复：统计和计算相变。高级神经信息处理。系统。33 11071-11082. [46] Marčenko，V.A.和Pastur，L.A.（1967年）。一些随机矩阵集的特征值分布。数学。苏联，Sb.1457·Zbl 0162.22501号 [47] MARINARI，E.、PARISI，G.和RITORT，F.（1994）。确定性模型的复制场理论。二、。一种具有玻璃状行为的非随机旋转玻璃。《物理学杂志》。A 27 7647-7668。数学科学网：MR1312275·兹比尔0843.60097 [48] MEI，S.和MONTANARI，A.（2022年）。随机特征回归的泛化误差：精确渐近和双下降曲线。普通纯应用程序。数学。75 667-766. 数学科学网：MR4400901·Zbl 07513415号 [49] Mézard，M.和Montanari，A.（2009年）。信息、物理和计算。牛津大学研究生文本。牛津大学出版社，牛津。数字对象标识符：10.1093/acprof:oso/9780198570837.001.0001谷歌学者：查找链接数学科学网：MR2518205·Zbl 1163.94001号 ·doi:10.1093/acprof:oso/9780198570837.001.0001 [50] MINKA，T.P.（2013）。近似贝叶斯推理的期望传播。arXiv预打印arXiv:1301.2294。 [51] MONAJEMI，H.、JAFARPOUR，S.、GAVISH，M.、DONOHO，D.L.、AMBIKASARAN，S.，BACALLADO，S.和BHARADIA，D.、CHEN，Y.、CHOI，Y.等人（2013）。确定性矩阵匹配高斯随机矩阵的压缩感知相变。程序。国家。阿卡德。科学。美国110 1181-1186·Zbl 1292.94007号 [52] MONDELLI，M.和VENKATARAMANAN，R.（2021）。旋转不变模型中近似消息传递的PCA初始化。高级神经信息处理。系统。34. ·Zbl 07632720号 [53] MONTANARI，A.和SAEED，B.（2022年）。经验风险最小化的普遍性。arXiv预打印arXiv:2202.08832。 [54] MONTANARI，A.和VENKATARAMANAN，R.（2021）。通过近似消息传递估计低秩矩阵。安。统计师。49 321-345. 数字对象标识符：10.1214/20-AOS1958谷歌学者：查找链接数学科学网：MR4206680·Zbl 1461.62070号 ·doi:10.1214/20-AOS1958 [55] O'Donnell，R.（2014）。布尔函数分析。剑桥大学出版社，纽约。数字对象标识符：10.1017/CBO9781139814782谷歌学者：查找链接MathSciNet:MR3443800·Zbl 1336.94096号 ·doi:10.1017/CBO9781139814782 [56] OPPER，M.和WINTHER，O.（2001年）。概率建模的自适应和自平衡Thouless-Anderson-Palmer平均场理论。物理学。版本E 64 056131。 [57] OPPER，M.和WINTHER，O.（2005）。期望一致的近似推断。J.马赫。学习。第6号决议2177-2204。数学科学网：MR2249885·Zbl 1222.68278号 [58] OYMAK，S.和HASSIBI，B.（2014年）。线性反问题中正交测量的一个例子。2014年IEEE信息理论国际研讨会3175-3179。电气与电子工程师协会。 [59] PANAHI，A.和HASSIBI，B.（2017年）。大规模正则化最小二乘解的通用分析。高级神经信息处理。系统。30 [60] PARISI，G.和POTTERS，M.（1995）。具有正交相互作用矩阵的自旋模型的平均场方程。《物理学杂志》。A 28 5267-5285。数学科学网：MR1364134·Zbl 0868.60052号 [61] RANGAN，S.、SCHNITER，P.和FLETCHER，A.K.（2019年）。矢量近似消息传递。IEEE传输。信息理论65 6664-6684。数字对象标识符：10.1109/TIT.2019.2916359谷歌学者：查找链接数学科学网：MR4009222·Zbl 1432.94036号 ·doi:10.1109/TIT.2019.2916359 [62] RUSH，C.、GREIG，A.和VENKATARAMANAN，R.（2017）。通过近似消息传递解码实现稀疏叠加码的容量。IEEE传输。信息理论63 1476-1500。数字对象标识符：10.1109/TIT.2017.2649460谷歌学者：查找链接MathSciNet:MR3625975 zbMATH:1366.94609·Zbl 1366.94609号 ·doi:10.1109/TIT.2017.2649460 [63] Sherrington，D.和Kirkpatrick，S.（1975年）。自旋玻璃的可解模型。物理学。修订稿。35 1792. [64] SODIN，S.（2014）。矩量法在随机矩阵理论中的几个应用。在2014年首尔国际数学家大会论文集上。第三卷451-475。首尔Kyung Moon Sa。数学科学网：MR3729037·Zbl 1373.60018号 [65] Sur，P.和Candès，E.J.（2019年）。高维逻辑回归的现代极大似然理论。程序。国家。阿卡德。科学。美国116 14516-14525。数字对象标识符：10.1073/pnas.1810420116谷歌学者：查找链接数学科学网：MR3984492·Zbl 1431.62084号 ·doi:10.1073/pnas.1810420116 [66] SUR，P.、CHEN，Y.和CANDÉS，E.J.（2019）。高维logistic回归中的似然比检验是渐近的重新缩放的七方形。普罗巴伯。理论相关领域175 487-558。数字对象标识符：10.1007/s00440-018-00896-9谷歌学者：查找链接数学科学网：MR4009715·Zbl 1431.62319号 ·doi:10.1007/s00440-018-00896-9 [67] TAKEUCHI，K.（2017）。从单位不变测量中基于期望传播的信号恢复的严格动力学。2017年IEEE信息理论国际研讨会(ISIT公司) 501-505. 电气与电子工程师协会。 [68] TULINO，A.M.、CAIRE，G.、SHAMAI，S.和VERD U.，S.（2010年）。频率选择性和时间选择性衰落信道的容量。IEEE传输。Inf.理论56 1187-1215。数字对象标识符：10.1109/TIT.2009.2039041谷歌学者：查找链接数学科学网：MR2723670·Zbl 1366.94266号 ·doi:10.1109/TIT.2009.2039041 [69] Voiculescu，D.（1991）。随机矩阵和自由积的极限定律。发明。数学。104 201-220. 数字对象标识符：10.1007/BF01245072谷歌学者：查找链接数学科学网：MR1094052·Zbl 0736.60007号 ·doi:10.1007/BF01245072 [70] Voiculescu，D.（1998年）。随机矩阵的一个增强的渐近自由度结果及其对自由熵的应用。国际数学。Res.不。1 41-63。数字对象标识符：10.1155/S107379289800004X谷歌学者：查找链接数学科学网：MR1601878·Zbl 0895.60004号 ·doi:10.115/S107379289800004X [71] 温德尔·J·G（1962）。几何概率中的一个问题。数学。扫描。11 109-111. 数字对象标识符：10.7146/math.scanda.a-10655谷歌学者：查找链接数学科学网：MR0146858·Zbl 0108.31603号 ·doi:10.7146/math.scanda.a-10655 [72] Wigner，E.P.（1958年）。关于某些对称矩阵的根的分布。数学年鉴。(2) 67 325-327. 数字对象标识符：10.2307/1970008谷歌学者：查找链接MathSciNet:MR0095527·Zbl 0085.13203号 ·数字对象标识代码：10.2307/1970008 [73] 温德尔，R.O.（1966）。用超平面划分\（N\）-空间。SIAM J.应用。数学。14 811-818. 数字对象标识符：10.1137/014068谷歌学者：查找链接数学科学网：MR0208471·Zbl 0161.13601号 ·数字对象标识代码：10.1137/0114068 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。