查尔斯·博尔德纳夫;西蒙·科斯特;拉杰·拉奥·纳达库迪蒂 极稀疏矩阵补全中的检测阈值。 （英语） Zbl 1523.60017号 已找到。计算。数学。 23，第5期，1619-1743（2023）. 摘要：我们研究了矩阵完成问题：基本的（m次n）矩阵（P）是低秩的，具有非相干奇异向量，随机的（m次元）矩阵（a）等于大小为（dn）的（一致）随机项子集上的（P）。\（A\）的所有其他项都等于零。目的是从观察到的（A）中检索关于（P）的信息。设（A_1）是随机矩阵，其中（A）的每个条目都乘以一个带参数1/2的独立的（0,1）-Bernoulli随机变量。本文讨论了矩阵（A_1（A-A_1）^*和（A-A_1）^*A_1的非厄米特特征谱比（A-A^*）和（A^*A）的特征谱捕捉到更多有关（A）主成分结构的相关信息的时间、方式和原因。我们证明了模大于检测阈值的非对称矩阵（A_1（A-A_1）^*）和（A-A_2）^*A_1的特征值渐近等于（PP^*）与（P^*P）的特征值，并且相关的特征向量也被对齐。令人惊讶的是，通过有意地通过\（A_1\）矩阵引入不对称性和额外的随机性，我们可以提取比使用\（A\）的奇异值分解（SVD）更多的信息。相关的检测阈值是渐近精确的，并且是非通用的，因为它明确地依赖于基础矩阵的元素分布。我们表明，使用从不对称特征分解中提取的信息，通过通用数据驱动算法，在高于该检测阈值的情况下，可靠的、统计上最优但不完美的矩阵恢复是可能的。可以证明，对左特征向量和右特征向量进行平均可以提高估计精度，但不能提高检测阈值。我们的结果涵盖了非常稀疏的区域，其中（d）为1阶，其中通过（A）的SVD完成矩阵失败或产生不可靠的恢复。我们定义了这种非对称主成分分析程序的另一种变体，它绕过了随机化步骤，具有一个检测阈值，该阈值比常数因子小，但计算成本比观测项目数的多项式因子大。由于文献中发现的精确矩阵补全的众所周知的信息理论极限（d\asymp\log n），这两个检测阈值都允许超出屏障。 MSC公司： 60对20 随机矩阵（概率方面） 15B52号 随机矩阵（代数方面） 05C80号 随机图（图形理论方面） 62卢比 代数统计学 关键词：矩阵完成;稀疏随机图;特征值;光谱算法;非厄米矩阵 软件：光收缩 PDF格式BibTeX公司 XML格式引用 \textit{C.Bordenave}等人，发现。计算。数学。23，第5号，1619-1743（2023；Zbl 1523.60017） 全文： 内政部 arXiv公司 参考文献： [1] Achlioptas，D。；McSherry，F.，低阶矩阵近似的快速计算，ACM杂志（JACM），54，9（2007）·Zbl 1311.94031号 ·数字对象标识代码：10.1145/1219092.1219097 [2] J.Alt，R.Ducatez和A.Knowles，临界Erdős-Rényi图的极值特征值，arXiv预印本arXiv:1905.03243（2019）·Zbl 1467.05236号 [3] N.Anantharaman，简单随机行走和非回溯随机行走的光谱之间的一些关系。arXiv:1703.038522017年。 [4] 安吉尔，O。；弗里德曼，J。；Hoory，S.，图的通用覆盖的非回溯谱，美国数学学会学报，3674287-4318（2015）·Zbl 1310.05136号 ·doi:10.1090/S0002-9947-2014-06255-7 [5] S.Arora、Y.Li、Y.Liang、T.Ma和A.Risteski，基于pmi的单词嵌入的潜在变量模型方法，计算语言学协会学报，4（2016），第385-399页。 [6] Baik，J。；Ben Arous，G。；Péché，S.，非零复样本协方差矩阵最大特征值的相变，《概率年鉴》，331643-1697（2005）·Zbl 1086.15022号 ·doi:10.1214/00911790500000233 [7] 巴萨克，A。；Rudelson，M.，稀疏非厄米矩阵的循环定律，《概率年鉴》，472359-2416（2019）·Zbl 1472.60006号 ·doi:10.1214/18-AOP1310 [8] Bauer，F。；Fike，C.，范数和排除定理，Numeriche Mathematik，2137-141（1960）·Zbl 0101.25503号 ·doi:10.1007/BF01386217 [9] F.Benaych-Georges、C.Bordenave和A.Knowles，稀疏随机矩阵的谱半径，arXiv电子版（2017），arXiv:1704.02945·Zbl 1459.15036号 [10] Benaych-Georges，F。；Bordenave，C。；Knowles，A.，稀疏非均匀Erdös-Rényi图的最大特征值，Ann.Probab。，47, 1653-1676 (2019) ·Zbl 1447.60017号 ·doi:10.1214/18-AOP1293 [11] Benaych-Georges，F。；Nadakuditi，R.，大型随机矩阵有限低秩扰动的特征值和特征向量，数学进展，227494-521（2011）·Zbl 1226.15023号 ·doi:10.1016/j.aim.2011.02.007 [12] C.Bordenave，弗里德曼第二特征值定理的新证明及其对随机提升的扩展，《科学年鉴》。埃及。标准。上级。，（出现）·Zbl 1462.05324号 [13] C.Bordenave和D.Chafai，《围绕循环定律》，《概率调查》，9（2012年）·Zbl 1243.15022号 [14] Bordenave，C。；Lelarg，M。；Massoulié，L.，《随机图的非回溯谱：社区检测和非规则ramanujan图》，《概率年鉴：数理统计研究所官方期刊》，46，1-71（2018）·Zbl 1386.05174号 ·doi:10.1214/16-AOP1142 [15] C.Bordenav，Y.Qiu和Y.Zhang，具有可交换行的稀疏双随机矩阵的谱间隙及其在混合和折叠映射中的应用。arXiv:1805.06205·Zbl 1465.60006号 [16] C.Bordenav，Y.Qiu和Y.Zhang，具有可交换行的稀疏双随机矩阵的谱间隙及其在混合和折叠映射中的应用，ArXiv电子版，（2018）。 [17] S.Boucheron、G.Lugosi和P.Massart，《集中不平等》，牛津大学出版社，牛津，2013年。非交感独立理论，由米歇尔·勒杜（Michel Ledoux）引言·Zbl 1279.60005号 [18] G.Brito，I.Dumitriu和K.D.Harris，随机二部双正则图中的谱间隙及其应用，ArXiv e-prints，（2018）·Zbl 1511.05129号 [19] 坎迪斯，EJ；Recht，B.，通过凸优化实现精确矩阵补全，Found。计算。数学。，717-772（2009年）·Zbl 1219.90124号 ·doi:10.1007/s10208-009-9045-5 [20] 坎迪斯，EJ；Tao，T.，凸松弛的威力：近最优矩阵完成，IEEE Trans。通知。理论，562053-2080（2010）·Zbl 1366.15021号 ·doi:10.1109/TIT.2010.2044061 [21] A.Chakrabarty、S.Chakraborty和R.Hazra，非均匀ErdőS-Rényi随机图体外的特征值，arXiv预印本arXiv:1911.08244（2019）·Zbl 1460.05169号 [22] Chatterjee，S.，通用奇异值阈值矩阵估计，Ann.Statist。，43, 177-214 (2015) ·Zbl 1308.62038号 ·doi:10.1214/14-AOS1272 [23] Y.Chen、C.Cheng和J.Fan，《不对称帮助：非对称扰动低秩矩阵的特征值和特征向量分析》，arXiv预印本arXiv:1811.12804（2018）·Zbl 1461.62085号 [24] S.Coste，《稀疏随机有向图的谱缺口》，ArXiv电子版，（2017年）·Zbl 1468.05093号 [25] S.Coste，Grandes valeurs propres de grapes aléatoires lideéS博士论文，2019年。 [26] 达文波特，M。；Romberg，J.，《从不完全观测中恢复低秩矩阵的概述》，IEEE信号处理选定主题期刊，10，608-622（2016）·doi:10.1109/JSTSP.2016.2539100 [27] 德里尼亚斯，P。；Zouzias，A.，关于通过矩阵值Bernstein不等式进行逐元素矩阵稀疏化的注记，Inform。过程。莱特。，111, 385-389 (2011) ·Zbl 1260.68454号 ·doi:10.1016/j.ipl.2011.01.010 [28] J.Eldridge、M.Belkin和Y.Wang，《未受干扰：超越Davis-Kahan的光谱分析》，arXiv e-prints，（2017），arXiv:1706.06516·Zbl 1406.60014号 [29] Feige，美国。；Ofek，E.，应用于稀疏随机图的谱技术，随机结构与算法，27251-275（2005）·Zbl 1076.05073号 ·doi:10.1002/rsa.20089 [30] J.Friedman、J.Kahn和E.Szemei，《关于随机正则图的第二特征值》，载于《第二十一届ACM计算理论研讨会论文集》，ACM，1989年，第587-598页。 [31] 法雷迪，Z。；Komlós，J.，随机对称矩阵的特征值，组合数学，1233-241（1981）·Zbl 0494.15010号 ·doi:10.1007/BF02579329 [32] D.Gamarnik、Q.Li和H.Zhang，线性时间内O（n）样本的矩阵完成，arXiv预印本arXiv:1702.02267（2017）。 [33] L.C.García del Molino，K.Pakdaman和J.Touboul，非对称随机矩阵的实本征值：跃迁和普遍性，arXiv电子指纹，（2016），arXiv:160500623。 [34] Grasedyck，L。；Kressner博士。；Tobler，C.，低阶张量近似技术的文献综述，GAMM-Mitteilungen，36，53-78（2013）·Zbl 1279.65045号 ·doi:10.1002/gamm.201310004 [35] 黄，B。；Mu，C。；Goldfarb，D。；Wright，J.，稳健低阶张量完备的可证明模型，《太平洋优化杂志》，11，339-364（2015）·Zbl 1323.15019号 [36] Kannan，R。；Theobald，T.，《固定秩博弈：双矩阵博弈的层次结构》，《经济理论》，第42期，第157-173页（2010年）·Zbl 1202.91007号 ·doi:10.1007/s00199-009-0436-2 [37] 右侧Keshavan；Montanari，A。；Oh，S.，一些条目的矩阵补全，IEEE信息理论事务，562980-2998（2010）·Zbl 1366.62111号 ·doi:10.1109/TIT.2010.2046205 [38] 克里夫列维奇，M。；Sudakov，B.，稀疏随机图的最大特征值，组合数学，概率与计算，12，61-72（2003）·Zbl 1012.05109号 ·网址：10.1017/S0963548302005424 [39] 克扎卡拉，F。；摩尔，C。；莫塞尔，E。；Neeman，J。；Sly，A。；茨德博罗娃，L。；Zhang，P.，聚类稀疏网络中的谱赎回，国家科学院学报，11020935-20940（2013）·Zbl 1359.62252号 ·doi:10.1073/pnas.1312486110 [40] A.Kundu和P.Drineas，《关于随机元素矩阵稀疏化的注释》，ArXiv电子版，（2014年）。 [41] M.Lelarge和L.Miolane，对称低秩矩阵估计的基本极限，概率论及相关领域，（2017），第1-71页。 [42] D.Levin、Y.Peres和E.Wilmer，《马尔可夫链和混合时间》，普罗维登斯，R.I.美国数学学会，2009年。詹姆斯·普罗普（James G.Propp）和大卫·B·威尔逊（David B.Wilson）的一章讲述了过去的结合·Zbl 1160.60001号 [43] L.Massoulié，《社区检测阈值和弱ramanujan特性》，载于2014年第四十六届ACM计算理论研讨会论文集，第694-703页·Zbl 1315.68210号 [44] F.Metz、I.Neri和T.Rogers，稀疏非埃尔米特随机矩阵的谱，arXiv预印本arXiv:11811.10416（2018）·Zbl 1509.15025号 [45] L.Miolane，低秩矩阵估计的基本极限：非对称情况，arXiv电子指纹，（2017），arXiv:1702.0473。 [46] C.Moore，《社区检测的计算机科学和物理：景观、相变和硬度》，布尔。欧洲协会。计算。科学。EATCS，（2017），第26-61页·Zbl 1409.68220号 [47] E.Mossel、J.Neeman和A.Sly，《随机块模型和重建》，arXiv预印本arXiv:1202.1499（2012）·Zbl 1350.05154号 [48] Nadakuditi，R.，Optshrink:通过优化、数据驱动的奇异值收缩改进低阶信号矩阵去噪的算法，IEEE信息理论汇刊，603002-3018（2014）·Zbl 1360.62399号 ·doi:10.1109/TIT.2014.2311661 [49] S.O’Rourke、V.Vu和K.Wang，《随机扰动和矩阵稀疏化与完备》，ArXiv电子版，（2018年）。 [50] S.Pal和Y.Zhu，稀疏超图随机块模型中的社区检测，arXiv e-prints，（2019），arXiv:1904.05981。 [51] A.Saade、F.Krzakala和L.Zdeborová，带bethe hessian的图的谱聚类，第27届神经信息处理系统国际会议论文集-第1卷，NIPS’14，美国马萨诸塞州剑桥，2014年，麻省理工学院出版社，第406-414页。 [52] A.Saade、F.Krzakala和L.Zdeborová，《从更少的条目中完成矩阵：光谱可检测性和秩估计》，摘自《第28届神经信息处理系统国际会议论文集》，第1卷，NIPS’15，马萨诸塞州坎布里奇，美国，2015年，麻省理工学院出版社，第1261-1269页。 [53] 斯坦因，N。；Ozdaglar，A。；Parrilo，P.，可分离和低阶连续博弈，《国际博弈论杂志》，37475-504（2008）·Zbl 1160.91003号 ·文件编号：10.1007/s00182-008-0129-2 [54] L.Stephan和L.Massoulié，加权非均匀随机图的非回溯谱，2020年·Zbl 1511.05154号 [55] G.W.Stewart和J.Sun，矩阵微扰理论，计算机科学和科学计算，学术出版社，马萨诸塞州波士顿，1990年·兹伯利0706.65013 [56] K.Tikhomirov和P.Youssef，稀疏Wigner矩阵谱中的离群值，arXiv e-prints，（2019），arXiv:1904.07985。 [57] Tsiligkaridis，T。；Hero，AO，通过kronecker产品扩展进行高维协方差估计，IEEE信号处理汇刊，615347-5360（2013）·doi:10.1109/TSP.2013.2279355 [58] Van Loan，CF，《无处不在的kronecker产品》，《计算与应用数学杂志》，123，85-100（2000）·Zbl 0966.65039号 ·doi:10.1016/S0377-0427（00）00393-9 [59] C.F.Van Loan和N.Pitsianis，用kronecker乘积逼近，《大规模和实时应用的线性代数》，Springer出版社，1993年，第293-314页·Zbl 0813.65078号 [60] Y.Watanabe和K.Fukumizu，自由能和循环信念传播中的图zeta函数，神经信息处理系统的进展22——2009年会议论文集，22（2010）。 [61] Yu，Y。；Wang，T。；RJ Samworth，统计学家戴维斯-卡汉定理的一个有用变体，《生物统计学》，102315-323（2014）·Zbl 1452.15010号 ·doi:10.1093/biomet/asv008 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。