范，周 旋转不变矩阵的近似消息传递算法。 （英语） Zbl 1486.94026号 Ann.统计。 50，第1期，197-224（2022）. 摘要：近似消息传递（AMP）算法在各种应用程序中得到了广泛应用。然而，它们的Onsager校正和状态演化的精确形式取决于基础随机矩阵系综的特性，这限制了为白噪声导出的AMP算法适用于实际中出现的数据矩阵的程度。在这项工作中，我们研究了满足正交旋转不变性定律的随机矩阵（mathbf{W}）的更一般的AMP算法，其中（mathbf{W}\）可能具有不同于白噪声特征的半圆和Marcenko-Pastur定律的谱分布。这些算法中的Onsager修正和状态演化由谱分布的自由累积量或矩形自由累积量定义。它们的形式以前是由Opper、恰克马克和Winther使用非严格动态泛函理论技术推导出来的，我们提供了严格的证明。当主成分（PC）和可能的非白噪声存在先验结构时，我们的激励应用是用于主成分分析的Bayes-AMP算法。对于足够大的信号强度和PC的任何非高斯先验分布，我们证明该算法可证明比样本PC获得更高的估计精度。 引用于8文件 MSC公司： 94甲12 信号理论（表征、重建、滤波等） 05摄氏90度 图论的应用 60对20 随机矩阵（概率方面） 62J07型 岭回归；收缩估计器（拉索） 62甲12 多元分析中的估计 62H25个 因子分析和主成分；对应分析 关键词：放大器；自由概率论；高维渐近；PCA公司 PDF格式BibTeX公司 XML格式引用 \textit{Z.Fan}，Ann.Stat.50，No.1，197--224（2022；Zbl 1486.94026） 全文： 内政部 arXiv公司 参考文献： [1] ALAOUI，A.E.、MONTANARI，A.和SELLKE，M.（2020）。平均场自旋玻璃的优化。预印。可从arXiv:2001.00904获取·Zbl 07467487号 [2] Bayati，M.、Lelarge，M.和Montanari，A.（2015）。多面体相变和消息传递算法的普遍性。附录申请。普罗巴伯。25 753-822. ·Zbl 1322.60207号 ·doi:10.1214/14-AAP1010 [3] Bayati，M.和Montanari，A.（2011年）。消息在密集图形上传递的动力学，以及压缩感知的应用。IEEE传输。Inf.理论57 764-785. ·Zbl 1366.94079号 ·doi:10.1109/TIT.2010.2094817 [4] Bayati，M.和Montanari，A.（2012年）。高斯矩阵的LASSO风险。IEEE传输。Inf.理论58 1997-2017. ·Zbl 1365.62196号 ·doi:10.1109/TIT.2011.2174612 [5] Benaych-Georges，F.（2009年）。矩形随机矩阵，相关卷积。普罗巴伯。理论相关领域144 471-515. ·Zbl 1171.15022号 ·doi:10.1007/s00440-008-0152-z [6] BENAYCH-GEORGES，F.（2009年）。矩形随机矩阵、熵和费希尔信息。J.算子理论62 371-419. ·Zbl 1224.46121号 [7] BENAYCH-GEORGES，F.（2011）。矩形\（R\）-作为矩形球面积分极限的变换。J.理论。普罗巴伯。24 969-987. ·Zbl 1237.15031号 ·doi:10.1007/s10959-011-0362-7 [8] Benaych-Georges，F.和Nadakuditi，R.R.（2011）。大型随机矩阵的有限低秩扰动的特征值和特征向量。高级数学。227 494-521. ·Zbl 1226.15023号 ·doi:10.1016/j.aim.2011.02.007 [9] Benaych-Georges，F.和Nadakuditi，R.R.（2012）。大型矩形随机矩阵的低秩扰动的奇异值和向量。《多元分析杂志》。111 120至135·Zbl 1252.15039号 ·doi:10.1016/j.jmva.2012.04.019 [10] Berthier，R.、Montanari，A.和Nguyen，P.-M.（2020年）。具有不可分离函数的近似消息传递的状态演化。Inf.推断9 33-79. ·Zbl 1470.94003号 ·doi:10.1093/imaiai/iay021 [11] Bolthausen，E.（2014）。Sherington-Kirkpatrick模型TAP方程解的迭代构造。公共数学。物理学。325 333-366. ·Zbl 1288.82038号 ·文件编号：10.1007/s00220-013-1862-3 [12] BORGERDING，M.和SCHNITER，P.（2016）。稀疏线性逆问题的Onsager修正深度学习。2016年IEEE信号和信息处理全球会议(全球SIP) 227-231. IEEE，纽约。 [13] BORGERDING，M.、SCHNITER，P.和RANGAN，S.（2017年）。AMP激励的深度网络用于稀疏线性逆问题。IEEE传输。信号处理。65 4293-4308. ·Zbl 1414.94083号 ·doi:10.1109/TSP.2017.2708040 [14] BU，Z.，KLUSOWSKI，J.，RUSH，C.和SU，W.（2019年）。通过近似消息传递进行SLOPE的算法分析和统计估计。在神经信息处理系统研究进展9366-9376. ·Zbl 1473.62238号 [15] J AKMAK，B.和OPPER，M.（2019年）。具有随机耦合矩阵任意旋转不变系综的伊辛模型的Thouless-Anderson-Palmer方程的无记忆动力学。物理学。版本E99 062140. [16] J AKMAK，B.和OPPER，M.（2020年）。用于受限Boltzmann机器学习的动态平均场理论。《统计力学杂志》。理论实验。10 103303. ·Zbl 1459.82167号 ·doi:10.1088/1742-5468/abb8c9 [17] CAKMAK，B.、WINTHER，O.和FLEURY，B.H.（2014）。S-AMP：一般矩阵集合的近似消息传递。2014年IEEE信息理论研讨会(ITW公司2014) 192-196. IEEE，纽约。 [18] CALTAGIRONE，F.、ZDEBOROVá，L.和KRZAKALA，F.（2014）。关于近似消息传递的收敛性。2014年IEEE国际信息理论研讨会1812-1816. IEEE，纽约。 [19] 陈伟凯和林伟凯（2021）。近似消息传递算法的普遍性。电子。J.概率。26第36号论文·Zbl 1483.60007号 [20] Collins，B.（2003年）。酉群上多项式随机变量的矩和累积量、Itzykson-Zuber积分和自由概率。国际数学。Res.不。17 953-982. ·Zbl 1049.60091号 ·doi:10.1155/S107379280320917X [21] Deshpande，Y.、Abbe，E.和Montanari，A.（2017年）。平衡二元随机块模型的渐近互信息。Inf.推断6 125-170. ·Zbl 1383.62021号 ·doi:10.1093/imaiai/iaw017 [22] DESHPANDE，Y.和MONTANARI，A.（2014）。信息理论上最优稀疏PCA。2014年IEEE信息理论国际研讨会2197-2201. IEEE，纽约。 [23] DIA，M.、MACRIS，N.、KRZAKALA，F.、LESIEUR，T.和ZDEBOROVá，L.（2016）。对称秩一矩阵估计的互信息：副本公式的证明。在神经信息处理系统研究进展424-432. [24] Donoho，D.和Montanari，A.（2016）。高维稳健M估计：通过近似消息传递的渐近方差。普罗巴伯。理论相关领域166 935-969. ·Zbl 1357.62220号 ·doi:10.1007/s00440-015-0675-z [25] DONOHO，D.L.、JAVANMARD，A.和MONTANARI，A.（2013）。通过空间耦合和近似消息传递实现信息理论上的最优压缩感知。IEEE传输。Inf.理论59 7434-7464. ·Zbl 1364.94120号 ·doi:10.1109/TIT.2013.2274513 [26] Donoho，D.L.、Maleki，A.和Montanari，A.（2009年）。压缩感知的消息传递算法。程序。国家。阿卡德。科学。美国106 18914-18919. [27] DONOHO，D.L.、MALEKI，A.和MONTANARI，A.（2010a）。压缩感知的消息传递算法：I.动机和构造。2010年IEEE信息理论研讨会(ITW公司2010,开罗) 1-5. 电气与电子工程师协会。 [28] DONOHO，D.L.、MALEKI，A.和MONTANARI，A.（2010年b）。压缩感知的消息传递算法：II。分析和验证。2010年IEEE信息理论研讨会(ITW公司2010,开罗) 1-5. 电气与电子工程师协会。 [29] 范，Z。（2022）。补充“旋转不变矩阵的近似消息传递算法”https://doi.org/10.1214/21-AOS2101SUPP网站 [30] FENG，O.Y.、VENKATARAMANAN，R.、RUSH，C.和SAMWORTH，R.J.（2021）。关于近似消息传递的统一教程。预印本。可从arXiv:2105.02180获取。 [31] FLETCHER，A.、SAHRAEE-ARDAKAN，M.、RANGAN，S.和SCHNITER，P.（2016）。期望一致近似推理：推广和收敛。2016年IEEE信息理论国际研讨会(ISIT公司) 190-194. 电气与电子工程师协会。 [32] Gamarnik，D.和Jagannath，A.（2021年）。（p）-自旋模型的重叠间隙特性和近似消息传递算法。安·普罗巴伯。49 180-205·兹比尔1470.60277 ·doi:10.1214/20-AOP1448 [33] GUIONNET，A.和MAÏDA，M.（2005）。关于球面积分的R变换和相关渐近性的Fourier观点。J.功能。分析。222 435-490. ·Zbl 1065.60023号 ·doi:10.1016/j.jfa.2004.09.015 [34] Javanmard，A.和Montanari，A.（2013）。一般近似消息传递算法的状态演化，以及空间耦合应用。Inf.推断2 115-144. ·Zbl 1335.94015号 ·doi:10.1093/imaiai/iat004 [35] KABASHIMA，Y.（2003年）。一种基于置信传播的CDMA多用户检测算法。《物理学杂志》。A类:数学。消息。36 11111. ·Zbl 1081.94509号 [36] KABASHIMA，Y.和VEHKAPER，M.（2014）。使用线性观测值的期望一致近似进行信号恢复。2014年IEEE信息理论国际研讨会226-230. IEEE，纽约。 [37] MA，J.和PING，L.（2017）。正交放大器。IEEE接入5 2020-2033. [38] MAILLARD，A.、FOINI，L.、LAGE CASTELLANOS，A.、KRZAKALA，F.、M E ZARD，M.和ZDEBOROV A，L.（2019年）。高温扩展和消息传递算法。《统计力学杂志》。理论实验。11 113301. ·Zbl 1459.82094号 ·doi:10.1088/1742-5468/ab4bbb [39] MALEKI，A.、ANITORI，L.、YANG，Z.和BARANIUK，R.G.（2013）。通过复杂近似消息传递（CAMP）对复杂LASSO进行渐近分析。IEEE传输。Inf.理论59 4290-4308. ·Zbl 1364.62188号 ·doi:10.1109/TIT.2013.2252232 [40] METZLER，C.、MOUSAVI，A.和BARANIUK，R.（2017）。学习D-AMP：基于原理神经网络的压缩图像恢复。在神经信息处理系统研究进展1772-1783年。 [41] MINKA，T.P.（2001年）。近似贝叶斯推理的一系列算法。麻省理工学院博士论文。 [42] MONTANARI，A.（2019年）。Sherrington-Kirkpatrick哈密顿量的优化。2019年电气与电子工程师协会60第届计算机科学基础年会(光纤通信系统)1417年-1433年。IEEE，纽约。 [43] Montanari，A.和Richard，E.（2016）。非负主成分分析：消息传递算法和尖锐渐近。IEEE传输。Inf.理论62 1458-1484. ·Zbl 1359.62224号 ·doi:10.1109/TIT.2015.2457942 [44] MONTANARI，A.和VENKATARAMANAN，R.（2021）。通过近似消息传递估计低秩矩阵。安。统计师。49 321-345. ·Zbl 1461.62070号 ·doi:10.1214/20-AOS1958 [45] 穆萨维A.、马利基A.和巴兰纽克R.G.（2018）。LASSO和近似消息传递的一致参数估计。安。统计师。46 119-148. ·Zbl 1401.62116号 ·doi:10.1214/17-AOS1544 [46] NOVAK，J.（2014）。关于自由概率的三堂课。随机矩阵理论、相互作用粒子系统和可积系统65 13. ·Zbl 1318.81009号 [47] OPPER，M.、JJ AKMAK，B.和WINTHER，O.（2016）。用一般不变随机矩阵求解伊辛模型的TAP方程的理论。《物理学杂志》。A类49 114002. ·Zbl 1342.82042号 ·doi:10.1088/1751-8113/49/11/114002 [48] OPPER，M.和WINTHER，O.（2001）。概率建模的自适应和自平衡Thouless-Anderson-Palmer平均场理论。物理学。版本E64 056131. ·Zbl 1022.68606号 [49] 安大略省安大略省安大略省安大略省安大略省安大略省安大略省安大略省安大略省安大略省安大略省安大略省安大略省安大略省安大略省安大略省安大略省安大略省安大略省安大略省安大略省安大略省安大略省安大略省安大略省安大略省安大略省安大略省安大略省安大略省安大略省安大略省安大略省安大略省安大略省安大略省。概率模型的可牵引近似：自适应Thouless-Anderson-Palmer平均场方法。物理学。修订稿。86 3695-3699. ·doi:10.1103/PhysRevLett.86.3695 [50] OPPER，M.和WINTHER，O.（2005）。期望一致的近似推断。J.马赫。学习。物件。6 2177-2204. ·Zbl 1222.68278号 [51] PERRY，A.、WEIN，A.S.、BANDEIRA，A.S.和MOITRA，A.（2018）。紧群上同步问题的消息传递算法。普通纯应用程序。数学。71 2275-2322. ·Zbl 1439.62143号 ·doi:10.1002/cpa.21750 [52] RANGAN，S.（2011）。随机线性混合估计的广义近似消息传递。2011年IEEE信息理论会议录国际研讨会2168-2172. IEEE，纽约。 [53] RANGAN，S.和FLETCHER，A.K.（2012年）。噪声中约束秩一矩阵的迭代估计。2012年IEEE信息理论会议录国际研讨会1246-1250. 电气与电子工程师协会。 [54] RANGAN，S.、SCHNITER，P.和FLETCHER，A.K.（2019年）。矢量近似消息传递。IEEE传输。Inf.理论65 6664-6684. ·Zbl 1432.94036号 ·doi:10.1109/TIT.2019.2916359 [55] RANGAN，S.、SCHNITER，P.、FLETCHER，A.K.和SARKAR，S.（2019年）。关于任意矩阵近似消息传递的收敛性。IEEE传输。Inf.理论65 5339-5351. ·Zbl 1432.94037号 ·doi:10.1109/TIT.2019.2913109 [56] Schniter，P.和Rangan，S.（2015）。通过广义近似消息传递进行压缩相位恢复。IEEE传输。信号处理。63 1043-1055. ·Zbl 1394.94506号 ·doi:10.1010/TSP.2014.2386294文件 [57] SCHNITER，P.、RANGAN，S.和FLETCHER，A.K.（2016）。广义线性模型的向量近似消息传递。2016年50第届信号、系统和计算机亚西洛马会议1525-1529. 电气与电子工程师协会。 [58] SPEICHER，R.（1998）。带合并的自由积组合理论和算子值自由概率理论627.普罗维登斯AMS·Zbl 0935.46056号 [59] SU，W.，BOGDAN，M.和CANDÈS，E.（2017）。拉索路径上的错误发现很早就出现了。安。统计师。45 2133-2150. ·Zbl 1459.62142号 ·doi:10.1214/16-AOS1521 [60] Sur，P.和Candès，E.J.（2019年）。高维逻辑回归的现代极大似然理论。程序。国家。阿卡德。科学。美国116 14516-14525. ·Zbl 1431.62084号 ·doi:10.1073/pnas.1810420116 [61] SUR，P.、CHEN，Y.和CANDÈS，E.J.（2019年）。高维logistic回归中的似然比检验是渐近的重新缩放的七方形。普罗巴伯。理论相关领域175 487-558. ·Zbl 1431.62319号 ·doi:10.1007/s00440-018-00896-9 [62] TAKEUCHI，K.（2017）。从单位不变测量中基于期望传播的信号恢复的严格动力学。2017年IEEE信息理论国际研讨会(ISIT公司) 501-505. IEEE，纽约。 [63] TAKEUCHI，K.（2019年）。消息传递算法的状态演化统一框架。2019年IEEE信息理论国际研讨会(ISIT公司)151-155中。IEEE，纽约。 [64] 竹内，K.（2020）。卷积近似消息传递。IEEE信号处理。莱特。27 416-420. [65] TAKEUCHI，K.（2020年）。贝叶斯最优卷积AMP。预印本。可从arXiv:2003.12245获取·Zbl 1475.94045号 [66] 维拉尼，C.（2009年）。最佳运输:旧的和新的.德国数学研究所[数学科学基本原理] 338. 柏林施普林格·Zbl 1156.53003号 ·doi:10.1007/978-3-540-71050-9 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。