×
大卫·加马尼克;奥科什·贾加纳特;苏巴巴拉·森

主子矩阵恢复中的重叠间隙性质。 （英语） Zbl 1518.68299号

普罗巴伯。理论关联。领域 181，第4期，757-814（2021）.
摘要：我们研究了隐藏在对称平均零高斯矩阵中的具有提升平均值（λ/N）的（k次k）主子矩阵的支持恢复。这里（λ>0）是一个普适常数，我们假设（k=Nrho）是某个常数（在（0,1）中为rho）。我们建立了一个常数（C>0），使得MLE恢复隐藏子矩阵的一个常数比例，如果（lambda\geC\sqrt{\frac{1}{\rho}\log\frac}{\rro}}），而如果（lampda=o（\sqrt}\frac[1}{\rho}\log\frac{1}）），则这种恢复在理论上是不可能的。MLE通常在计算上很难处理，事实上，对于足够小的（\rho>0），这个问题被推测为表现出统计计算差距为了对此提供严格的证据，我们研究了这个问题的可能性前景，并确定对于某些\（\varepsilon>0）和\（\sqrt{\frac{1}{\rho}\log\frac{1}{\rho}}\ll\lambda\ll\frac{1}{\rro^{1/2+\varepsilon}}），这个问题表现出了重叠间隙特性（OGP）直接的结果是，我们发现一系列基于MCMC的局部算法无法实现最佳恢复。最后，我们建立了对于（λ>1/rho），一个简单的谱方法可以恢复一个恒定比例的隐藏子矩阵。

引用于4文件

MSC公司：

68T05型 人工智能中的学习和自适应系统
60对20 随机矩阵（概率方面）
62H25个 因子分析和主成分；对应分析
65年第68季度 算法和问题复杂性分析
82个B44 平衡统计力学中的无序系统（随机伊辛模型、随机薛定谔算子等）
82天30分 随机介质、无序材料（包括液晶和自旋玻璃）的统计力学

关键词：

子矩阵恢复;重叠间隙特性;旋转玻璃

软件：

LAS公司
PDF格式BibTeX公司 XML格式引用
\textit{D.Gamarnik}等人，Probab。理论关联。字段181，编号4，757--814（2021；Zbl 1518.68299）
全文： 内政部 arXiv公司

参考文献：

[1] Abbe，E.，《社区检测和随机块模型：最新发展》，J.Mach。学习。决议，18，1，6446-6531（2017）·Zbl 1403.62110号
[2] Achlioptas，D。；Coja-Oghlan，A。；Ricci Tersenghi，F.，关于随机约束满足问题的解空间几何，随机结构。算法，38，3，251-268（2011）·Zbl 1217.68156号
[3] Addario Berry，L.公司。；Maillard，P.，连续随机能量模型的算法硬度阈值，数学。统计学习。，2, 1, 77-101 (2020) ·Zbl 1434.68182号
[4] 艾森曼，M。；西姆斯，R。；Starr，SL，Sherrington-Kirkpatrick旋类模型的扩展变分原理，Phys。B版，68、21、214403（2003）
[5] Alon，N。；克里夫列维奇，M。；Sudakov，B.，《在随机图中发现一个大的隐藏团》，《随机结构》。算法，13，3-4，457-466（1998）·Zbl 0959.05082号
[6] Amini，A.A.，Wainwright，M.J：稀疏主成分半定松弛的高维分析。2008年IEEE信息理论国际研讨会，第2454-2458页。IEEE（2008）
[7] 阿尔金，L.-P.：自旋玻璃计算和鲁尔概率级联。《统计物理学杂志》。126(4-5), 951-976 (2007) ·Zbl 1115.82035号
[8] Auffinger，A。；Chen，W-K，混合自旋模型基态能量的Parisi公式，Ann.Probab。，45, 6, 4617-4631 (2017) ·Zbl 1393.60116号
[9] Auffinger，A。；陈，W.-K；Zeng，Q.，SK模型是在零温度下的完整复制对称破缺，Commun。纯应用程序。数学。，73, 921-943 (2020) ·Zbl 1453.82088号
[10] 巴菲奥尼，F。；Rosati，F.，关于平均场自旋玻璃模型中超计量重叠分布的一些精确结果（i），《欧洲物理学》。J.B康登斯。物质复杂系统。，17, 3, 439-447 (2000)
[11] Baik，J。；Arous，B。；Ben Arous，G。；Péché，S.，非零复样本协方差矩阵最大特征值的相变，Ann.Probab。，33, 5, 1643-1697 (2005) ·Zbl 1086.15022号
[12] Balakrishnan，S.，Kolar，M.，Rinaldo，A.，Singh，A.，Wasserman，L.：双聚类中的统计和计算权衡。在：NeurIPS 2011统计学习中的计算权衡研讨会，第4卷（2011）
[13] Banks，J。；摩尔，C。；Vershynin，R。；Verzelen，N。；Jiming，X.，聚类、稀疏主成分分析和子矩阵定位中的信息论边界和相变，IEEE Trans。Inf.理论，64，7，4872-4894（2018）·Zbl 1401.94065号
[14] 巴拉克，B。；霍普金斯，S。；Kelner，J。；科塔里，PK；莫伊特拉，A。；Potechin，A.，“人为集团问题的近似紧致平方和下限”，SIAM J.Compute。，48, 2, 687-735 (2019) ·Zbl 1421.68056号
[15] Barbier，J.，Dia，M.，Macris，N.，Krzakala，F.，Lesieur，T.，Zdeborová，L.：对称秩一矩阵估计的互信息：副本公式的证明。摘自：《第30届神经信息处理系统国际会议论文集》，NIPS’16，pp.424-432（2016）
[16] Barbier，J.，Macris，N.，Rush，C.：稀疏峰值矩阵估计中的全或无统计和计算相变。摘自：《神经信息处理系统进展》，第14915-14926页（2020年）
[17] Barra，A。；基诺维斯，G。；Guerra，F.，二体自旋系统的平衡统计力学，J.Phys。A： 数学。理论。，44, 24, 245002 (2011) ·Zbl 1220.82059号
[18] Ben Arous，G。；盖萨里，R。；Jagannath，A.，张量PCA的算法阈值，Ann.Probab。，48, 4, 2052-2087 (2020) ·Zbl 1444.62080号
[19] Arous，GB；Jagannath，A.，平均场自旋玻璃中的光谱间隙估计，Commun。数学。物理。，361, 1, 1-52 (2018) ·Zbl 1397.82054号
[20] Ben Arous，G.，Wein，A.S.，Zadik，I.：稀疏pca中的自由能阱和重叠间隙特性。摘自：学习理论会议，第479-482页。PMLR（2020年）
[21] Benaych-Georges，F。；Nadakuditi，RR，大型随机矩阵有限低秩扰动的特征值和特征向量，高等数学。，227, 1, 494-521 (2011) ·Zbl 1226.15023号
[22] Berthet，Q.，Rigollet，P.：稀疏主成分检测的复杂性理论下限。摘自：学习理论会议，第1046-1066页（2013）
[23] 巴米迪，S。；戴，PS；Nobel，AB，高斯随机矩阵中大平均子矩阵检测问题的能量景观，Probab。理论关联。菲尔兹，168，3-4，919-983（2017）·Zbl 1371.60010号
[24] Boucheron，S。；卢戈西，G。；Massart，P.，《集中不平等》。《独立性的非渐近理论》（2013），牛津：牛津大学出版社，牛津·Zbl 1279.60005号
[25] Brennan，M.，Bresler，G.，Huleihel，W.：种植稀疏结构问题的可约性和计算下限。摘自：第31届学习理论会议记录。PMLR，第75卷，第48-166页（2018年）
[26] Brennan，M.，Bresler，G.，Huleihel，W.：子矩阵检测计算下限的普遍性。摘自：第三十二届学习理论会议记录。PMLR，第99卷，第417-468页（2019年）
[27] 布图萨，C。；Ingster，YI，高维噪声矩阵稀疏子矩阵的检测，Bernoulli，19，5，2652-2688（2013）·Zbl 1457.62072号
[28] 布图萨，C。；英格斯特，YI；Suslina，IA，高维噪声矩阵中稀疏子矩阵的夏普变量选择，ESAIM Probab。统计，19，115-134（2015）·Zbl 1330.62169号
[29] 蔡，TT；Liang，T。；Rakhlin，A.，《大噪声矩阵中子矩阵定位的计算和统计边界》，《Ann.Stat.》，45，4，1403-1430（2017）·Zbl 1392.62017年
[30] Chandrasekaran，V。；Jordan，MI，通过凸松弛进行计算和统计权衡，Proc。国家。阿卡德。科学。，110、13、E1181-E1190（2013）·Zbl 1292.62019年
[31] 陈，W-K；加马尔尼克博士。；潘琴科，D。；Rahman，M.，一类极大割问题局部算法的次优性，Ann.Probab。，47, 3, 1587-1618 (2019) ·Zbl 1466.60200号
[32] 陈，Y。；Jiaming，X.，《随着簇和子矩阵数量的增加，种植问题和子矩阵定位的统计计算权衡》，J.Mach。学习。研究，17，1，882-938（2016）·Zbl 1360.62320号
[33] Coja-Oghlan，A。；哈克谢纳斯，A。；Hetterich，S.，Walksat停在远低于可满足性的位置，SIAM J.离散数学。，31, 2, 1160-1173 (2017) ·兹比尔1371.68109
[34] 盖子，TM；托马斯，JA，《信息理论要素》，69-73（1991），纽约：威利，纽约·Zbl 0762.94001号
[35] de Bruijn，英国国家电网公司；Erdös，P.，一些线性和二次递归公式。二、 内德勒。阿卡德。韦滕施。程序。序列号。A.诱导数学。，55, 152-163 (1952) ·Zbl 0047.06303号
[36] Deshpande，Y.，Montanari，.：信息理论上最优稀疏PCA。2014年IEEE信息理论国际研讨会，第2197-2201页。IEEE（2014）
[37] Deshpande，Y.，Montanari，A.：改进了隐藏团和隐藏子矩阵问题的平方和下限。摘自：学习理论会议，第523-562页（2015年）
[38] Ding，Y.，Kunisky，D.，Wein，A.S，Bandeira，A.S：稀疏高维线性回归。估计平方误差和相变。Ann.Stat.（出现）
[39] 费尔德曼，V。；格里戈雷斯库，E。；Reyzin，L。；Vempala，SS公司；Xiao，Y.，《检测蓄意集团的统计算法和下限》，J.ACM（JACM），64，2，8（2017）·Zbl 1397.68085号
[40] 加马尔尼克博士。；李琼，求高斯随机矩阵的一个大子矩阵，《统计年鉴》，46，6，2511-2561（2018）·Zbl 1401.68120号
[41] 加马尔尼克博士。；Sudan，M.，随机NAE-K-SAT问题的顺序局部算法性能，SIAM J.Compute。，46590-619（2017）·Zbl 1388.60037号
[42] Gamarnik，D.，Zadik，I.：二元系数的高维回归。估计平方误差和相位交叉。摘自：学习理论会议，第948-953页（2017年）
[43] Gamarnik，D.，Zadik，I.：稀疏高维线性回归。算法障碍和局部搜索算法。arXiv:1711.04952（2017）
[44] Gamarnik，D.，Zadik，I.：种植集团问题的景观：稠密子图和重叠间隙特性。arXiv:1904.07174（2019）
[45] 高，C。；马，Z。；Zhou，HH，Sparse CCA:自适应估计和计算障碍，Ann.Stat.，45，52074-2101（2017）·Zbl 1421.62073号
[46] 霍普金斯，SB；科塔里，P。；波将钦，AH；Raghavendra，P。；Schramm，T.，关于种植集团四次平方和的完整性缺口，ACM Trans。算法（TALG），14，3，28（2018）·Zbl 1454.05087号
[47] Hopkins，S.B，Schramm，T.，Shi，J.，Steurer，D.：平方和证明的快速谱算法：张量分解和种植稀疏向量。摘自：《第四十八届ACM计算机理论研讨会论文集》，第178-191页。ACM（2016）·Zbl 1377.68199号
[48] Jagannath，A.，《随机测量的近似超米度及其在旋转玻璃中的应用》，Commun。纯应用程序。数学。，70, 4, 611-664 (2017) ·Zbl 1361.60035号
[49] Jagannath，A。；Ko，J。；Sen，S.，Max切割和非均匀波茨自旋玻璃，Ann.Appl。概率。，28, 3, 1536-1572 (2018) ·Zbl 1423.90227号
[50] Jagannath，A。；洛帕托，P。；Miolane，L.，张量PCA的统计阈值，Ann.Appl。概率。，30, 4, 1910-1933 (2020) ·Zbl 1461.62087号
[51] Jagannath，A.，Sen，S.：关于非平衡切割问题和广义Sherington-Kirkpatrick模型。亨利·彭加雷安·Inst.Henri PoincaréD 8（1），35-88（2020）·Zbl 1469.90123号
[52] Jagannath，A。；Tobasco，I.，Parisi函数的动态编程方法，Proc。美国数学。Soc.，144，7，3135-3150（2016）·兹比尔1376.60081
[53] Jagannath，A。；Tobasco，I.，球形平均场自旋玻璃的低温渐近性，Commun。数学。物理。，352979-1017（2017）·Zbl 1378.82029号
[54] Jagannath，A。；Tobasco，I.，混合p-pin玻璃相图的一些性质，Probab。理论关联。菲尔德，167，3-4，615-672（2017）·Zbl 1370.60189号
[55] Kolar，M.，Balakrishnan，S.，Rinaldo，A.，Singh，A.：大噪声矩阵中结构信息的极大极小局部化。《神经信息处理系统进展》，第909-917页（2011年）
[56] Krzakala，F.，Xu，J.，Zdeborová，L.：秩一矩阵估计中的互信息。2016年IEEE信息理论研讨会（ITW），第71-75页。IEEE（2016）
[57] Lelarge，M。；Miolane，L.，对称低秩矩阵估计的基本极限，Probab。理论关联。菲尔德，173，3-4，859-929（2019）·Zbl 1411.60014号
[58] Lesieur，T.、Krzakala，F.、Zdeborová，L.：稀疏PCA中的相变。2015年IEEE信息理论国际研讨会（ISIT），第1635-1639页。IEEE（2015）
[59] Lesieur，T。；Krzakala，F。；Zdeborová，L.，约束低秩矩阵估计：相变，近似信息传递和应用，J.Stat.Mech。理论实验，2017，7，073403（2017）·Zbl 1462.62324号
[60] Ma，T.，Wigderson，A.：稀疏PCA的平方和下限。摘自：《神经信息处理系统进展》，第1612-1620页（2015年）
[61] 马，Z。；Yihong，W.，《最小极大子矩阵检测中的计算障碍》，Ann.Stat.，43，3，1089-1116（2015）·Zbl 1328.62354号
[62] Meka，R.，Potechin，A.，Wigderson，A.：种植集团的平方和下限。摘自：第四十七届ACM计算机理论研讨会论文集，第87-96页。ACM（2015）·Zbl 1321.05241号
[63] Mézard，M.，Parisi，G.，Virasoro，M.A.：自旋玻璃理论及其以外：复制方法及其应用简介，第9卷。世界科学出版公司（1987）·Zbl 0992.82500号
[64] Mézard，M。；莫拉·T。；Zecchina，R.，随机可满足性问题解的聚类，物理学。修订稿。，94, 19, 197205 (2005)
[65] Montanari，A.，《在稀疏图中寻找一个社区》，J.Stat.Phys。，161, 2, 273-299 (2015) ·Zbl 1327.82091号
[66] Montanari，A.：谢林顿-柯克帕特里克哈密顿优化。SIAM J.计算。(2021). doi:10.1137/20M132016X·Zbl 1528.82043号
[67] Montanari，A.，Reichman，D.，Zeitouni，O.：关于谱方法的局限性：从高斯隐团问题到高斯张量的秩一扰动。摘自：《神经信息处理系统进展》，第217-225页（2015）·兹比尔1366.94150
[68] 摩尔：社区检测的计算机科学和物理：景观、相变和硬度。arXiv:1702.00467（2017）·兹比尔1409.68220
[69] Panchenko，D.，《巴黎超度量猜想》，数学版。(2), 177, 1, 383-393 (2013) ·Zbl 1270.60060号
[70] 潘琴科，D.，《谢林顿-柯克帕特里克模型》（The Sherington-Kirkpatrick model）（2013），柏林：施普林格出版社，柏林·Zbl 1266.82005年
[71] Panchenko，D.，混合自旋模型的Parisi公式，Ann.Probab。，42, 3, 946-958 (2014) ·Zbl 1292.82020年
[72] Panchenko，D.，多物种Sherington-Kirkpatrick模型中的自由能，Ann.Probab。，43, 6, 3494-3513 (2015) ·Zbl 1338.60237号
[73] Panchenko，D.，带向量自旋的混合（p）自旋模型中的自由能，Ann.Probab。，46, 2, 865-896 (2018) ·Zbl 1430.60032号
[74] 潘琴科，D.，《波茨旋转玻璃中的自由能》，Ann.Probab。，46, 2, 829-864 (2018) ·Zbl 1430.60088号
[75] 拉赫曼，M。；Virag，B.，独立集的局部算法是半最优的，Ann.Probab。，45, 3, 1543-1577 (2017) ·Zbl 1377.60049号
[76] Richard，E.，Montanari，A.：张量主成分分析的统计模型。摘自：《神经信息处理系统进展》，第2897-2905页（2014年）
[77] Rossman，B.：检测集团的平均案例复杂性。麻省理工学院博士论文（2010）
[78] Schramm，T.，Wein，A.S：从低阶多项式进行估计的计算障碍。arXiv:2008.02269（2020）
[79] 沙巴林，AA；维格曼，VJ；佩罗，CM；Nobel，AB，《在高维数据中发现大平均子矩阵》，Ann.Appl。统计，3，3，985-1012（2009）·Zbl 1196.62087号
[80] Steele，JM，概率论和组合优化，CBMS-NSF应用数学区域会议系列（1997）第69卷，宾夕法尼亚州费城：工业和应用数学学会（SIAM），宾夕法尼亚州，费城·Zbl 0916.90233号
[81] Stroock，D.W.，Varadhan，S.R.S.：多维扩散过程。数学经典。施普林格，柏林（2006）。（1997年版再版）
[82] 苏巴格，E.：遵循全RSB球形自旋玻璃的基态。arXiv：1812.04588（2018）·Zbl 1467.82097号
[83] Talagrand，M.：自旋玻璃的平均场模型。《Ergebnisse der Mathematik und ihrer Grenzgebiete》第二卷第55卷。3.佛尔吉。数学现代调查系列[数学及相关领域的结果。第三系列。数学现代调查丛书]。斯普林格，海德堡（2011）（高级复制对称性和低温）·Zbl 1214.82002号
[84] Wein，A.S，El Alaoui，A.，Moore，C.：菊池层次和张量PCA。arXiv:1904.03858（2019）
[85] Wu，Y.，Xu，J.：种植结构的统计问题：信息理论和计算极限。In:《数据科学中的信息理论方法》，第383页（2021）
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。