苏拉夫·查特吉 基于广义奇异值阈值的矩阵估计。 （英语） Zbl 1308.62038号 Ann.统计。 43，No.1，177-214（2015）. 小结：当观察到的条目是原始条目的小随机部分的噪声版本时，考虑估计大型矩阵条目的问题。这个问题近年来受到了广泛关注，尤其是在埃马纽埃尔·坎德斯及其合作者的开创性作品之后。本文介绍了一种简单的估计过程，称为通用奇异值阈值（USVT），适用于任何具有“一点结构”的矩阵。令人惊讶的是，这个简单的估计器达到了常数因子下的最小最大错误率。该方法用于解决低秩矩阵估计、块模型、距离矩阵补全、潜在空间模型、正定矩阵补全，graphon估计和用于成对比较的广义Bradley-Terry模型等相关问题。 引用于96文件 MSC公司： 2012年12月62日 参数估计量的渐近性质 62G05型 非参数估计 05C99年 图论 60对20 随机矩阵（概率方面） 15B52号 随机矩阵（代数方面） 关键词：矩阵完成;矩阵估计;社会区块模型;潜在空间模型;距离矩阵;协方差矩阵;奇异值分解;低秩矩阵;图形 软件：softImpute软件;光收缩 PDF格式BibTeX公司 XML格式引用 \textit{S.Chatterjee}，Ann.Stat.43，No.1，177--214（2015；Zbl 1308.62038） 全文： 内政部 arXiv公司 欧几里得 参考文献： [1] Achlioptas，D.和McSherry，F.（2001）。低秩矩阵近似的快速计算。第三十三届ACM计算理论研讨会论文集611-618（电子版）。纽约ACM·Zbl 1311.94032号 ·数字对象标识代码：10.1145/380752.380858 [2] Adams，E.（2005）。线性优势层次的贝叶斯分析。动物行为69 1191-1201。 [3] Agresti，A.（1990年）。分类数据分析。纽约威利·Zbl 0716.62001号 [4] Airoldi，E.M.、Blei，D.M.、Fienberg，S.E.和Xing，E.P.（2008）。混合成员随机块模型。J.马赫。学习。1981-2014年第9号决议·Zbl 1225.68143号 [5] Aldous，D.J.（1981年）。随机变量部分可交换数组的表示。《多元分析杂志》。11 581-598. ·兹比尔0474.60044 ·doi:10.1016/0047-259X（81）90099-3 [6] Alfakih，A.Y.、Khandani，A.和Wolkowicz，H.（1999）。利用半定规划求解欧氏距离矩阵完备问题。计算。最佳方案。申请。12 13-30. ·Zbl 1040.90537号 ·doi:10.1023/A:1008655427845 [7] Amini，A.A.、Chen，A.、Bickel，P.J.和Levina，E.（2013）。大型稀疏网络中社区检测的伪似然方法。安。统计师。41 2097-2122. ·Zbl 1277.62166号 ·doi:10.1214/13-AOS1138 [8] Anderson，G.W.、Guionnet，A.和Zeitouni，O.（2010年）。随机矩阵导论。剑桥高等数学研究118。剑桥大学出版社，剑桥·Zbl 1184.15023号 [9] 奥斯汀，T.（2008）。关于可交换随机变量和大型图和超图的统计。普罗巴伯。Surv公司。5 80-145之间·Zbl 1189.60020号 ·doi:10.1214/08-PS124 [10] Azar，Y.、Flat，A.、Karlin，A.、McSherry，F.和Sala，J.（2001）。数据的光谱分析。第三十三届美国计算机学会计算理论研讨会论文集619-626。纽约ACM·Zbl 1323.68426号 ·数字对象标识代码：10.1145/380752.380859 [11] Bakonyi，M.和Johnson，C.R.（1995年）。欧氏距离矩阵完成问题。SIAM J.矩阵分析。申请。16 646-654. ·Zbl 0823.15012号 ·doi:10.1137/S0895479893249757 [12] Bennett，G.（1962年）。独立随机变量和的概率不等式。J.Amer。统计师。协会57 33-45·Zbl 0104.11905号 ·doi:10.2307/2282438 [13] Bernstein，S.（1924）。对Tchebichef的质量进行了修改。Sav.年鉴科学研究所。乌克兰，Sect。数学。I（俄语、法语摘要）38-49。 [14] 巴蒂亚·R（1997）。矩阵分析。数学研究生课文169。纽约州施普林格·Zbl 0863.15001号 [15] Bhatia，R.（2007）。正定矩阵。普林斯顿大学出版社，新泽西州普林斯顿·Zbl 1125.15300号 [16] Bickel，P.J.和Chen，A.（2009年）。网络模型和Newman-Girvan及其他模块的非参数视图。程序。国家。阿卡德。科学。美国106 21068-21073·Zbl 1359.62411号 ·doi:10.1073/pnas.0907096106 [17] Bickel，P.J.、Chen，A.和Levina，E.（2011年）。网络模型的矩和度分布方法。安。统计师。39 2280-2301. ·Zbl 1232.91577号 ·doi:10.1214/11-AOS904 [18] Biswas，P.、Lian，T.-C.、Wang，T.-C和Ye，Y.（2006）。基于半定规划的传感器网络定位算法。ACM事务处理。参议员Netw。2 188-220. [19] Borg，I.和Groenen，P.J.F.（2005）。《现代多维尺度：理论与应用》，第二版，纽约斯普林格出版社·Zbl 1085.62079号 ·网址：10.1007/0-387-28981-X [20] Borgs，C.、Chayes，J.、Lovász，L.、SóS，V.T.和Vestergombi，K.（2006）。计数图同态。离散数学专题。算法组合。26 315-371。柏林施普林格·邮编1129.05050 ·doi:10.1007/3-540-33700-8_18 [21] Borgs，C.、Chayes，J.T.、Lovász，L.、SóS，V.T.和Vestergombi，K.（2008）。稠密图的收敛序列。I.子图频率、度量特性和测试。高级数学。219 1801-1851. ·Zbl 1213.05161号 ·doi:10.1016/j.aim.2008.07.008 [22] Borgs，C.、Chayes，J.T.、Lovász，L.、SóS，V.T.和Vestergombi，K.（2012）。稠密图的收敛序列2。多路切割和统计物理。数学年鉴。(2) 176 151-219. ·Zbl 1247.05124号 ·doi:10.4007/annals.2012.176.1.2 [23] Bradley，R.A.和Terry，M.E.（1952年）。不完全块设计的秩分析。一、配对比较法。生物特征39 324-345·Zbl 0047.12903号 [24] Cai，J.-F.、Candès，E.J.和Shen，Z.（2010）。矩阵补全的奇异值阈值算法。SIAM J.Optim公司。20 1956-1982. ·兹比尔1201.90155 ·doi:10.1137/080738970 [25] Candès，E.J.和Plan，Y.（2010年）。带噪声的矩阵完成。IEEE 98 925-936会议记录。 [26] Candès，E.J.和Recht，B.（2009年）。通过凸优化实现精确矩阵补全。已找到。计算。数学。9 717-772. ·Zbl 1219.90124号 ·doi:10.1007/s10208-009-9045-5 [27] Candès，E.J.、Romberg，J.和Tao，T.（2006）。鲁棒不确定性原理：从高度不完整的频率信息中精确重建信号。IEEE传输。通知。理论52 489-509·Zbl 1231.94017号 ·doi:10.1109/TIT.2005.862083 [28] Candès，E.J.和Tao，T.（2010年）。凸松弛的威力：近最优矩阵补全。IEEE传输。通知。理论56 2053-2080·Zbl 1366.15021号 ·doi:10.10109/TIT.2010.2044061 [29] Caron，F.和Doucet，A.（2012年）。广义布莱德雷-特里模型的有效贝叶斯推理。J.计算。图表。统计师。21 174-196. ·doi:10.1080/10618600.2012.638220 [30] Chatterjee，S.和Diaconis，P.（2013）。估计和理解指数随机图模型。安。统计师。41 2428-2461. ·Zbl 1293.62046号 ·doi:10.1214/13-AOS1155 [31] Chatterjee，S.、Diaconis，P.和Sly，A.（2011年）。具有给定度序列的随机图。附录申请。普罗巴伯。21 1400-1435. ·Zbl 1234.05206号 ·doi:10.1214/10-AAP728 [32] Chatterjee，S.和Varadhan，S.R.S.（2011年）。Erdős-Rényi随机图的大偏差原理。欧洲联合期刊32 1000-1017·兹比尔1230.05259 ·doi:10.1016/j.ejc.2011.03.014 [33] Chatterjee，S.和Varadhan，S.R.S.（2012）。随机矩阵的大偏差。公社。斯托克。分析。6 1-13. ·Zbl 1331.60016号 [34] Chaudhuri，K.、Chung，F.和Tsiatas，A.（2012年）。扩展种植分割模型中一般度图的谱聚类。J.马赫。学习。第35 1-23号决议。 [35] Choi，D.和Wolfe，P.J.（2014）。协同集群可单独交换网络数据。安。统计师。42 29-63. ·Zbl 1294.62059号 ·doi:10.1214/13-AOS1173 [36] Choi，D.S.、Wolfe，P.J.和Airoldi，E.M.（2012）。具有越来越多类的随机块模型。生物特征99 273-284·Zbl 1318.62207号 ·doi:10.1093/biomet/asr053 [37] Condon，A.和Karp，R.M.（2001年）。种植分区模型上的图分区算法。随机结构算法18 116-140·Zbl 0972.68129号 ·doi:10.1002/1098-2418（200103）18:2<116:：AID-RSA1001>3.0.CO；2-2 [38] Davenport，M.A.，Plan，Y.，van den Berg，E.和Wootters，M.（2012年）。1位矩阵完成。预打印。可从获取·Zbl 1309.62124号 ·doi:10.1093/imaiai/iau006 [39] David，H.A.（1988年）。配对比较方法，第二版，格里芬统计专著与课程41。牛津大学出版社，伦敦。 [40] Davidson，R.R.和Farquhar，P.H.（1976年）。关于配对比较方法的参考书目。生物统计学32 241-252·Zbl 0336.62067号 [41] Diaconis，P.（1988年）。概率论和统计学中的群表示。数理统计研究所讲稿——专题系列11。加利福尼亚州海沃德IMS·Zbl 0695.60012号 [42] Diaconis，P.和Janson，S.（2008年）。图极限和可交换随机图。伦德。材料应用。(7) 28 33-61. ·Zbl 1162.60009号 [43] Donoho，D.L.（2006）。压缩传感。IEEE传输。通知。理论52 1289-1306·Zbl 1288.94016号 ·doi:10.1109/TIT.2006.871582 [44] Donoho，D.L.和Johnstone，I.M.（1995）。通过小波收缩适应未知平滑度。J.Amer。统计师。协会90 1200-1224·Zbl 0869.62024号 ·数字对象标识代码：10.2307/2291512 [45] Fazel，M.（2002）。矩阵秩最小化及其应用。加州斯坦福大学博士论文。 [46] Füredi，Z.和Komlós，J.（1981年）。随机对称矩阵的特征值。组合天文台1 233-241·Zbl 0494.15010号 ·doi:10.1007/BF02579329 [47] Gavish，M.和Donoho，D.L.（2014）。奇异值的最佳硬阈值为\（4/\sqrt3\）。IEEE传输。通知。理论60 5040-5053·Zbl 1360.94071号 ·doi:10.1109/TIT.2014.2323359 [48] Gormley，I.C.和Murphy，T.B.（2008）。探索爱尔兰选民内部的投票集团：混合建模方法。J.Amer。统计师。协会103 1014-1027·Zbl 1205.62198号 ·doi:10.1198/0162145000001049 [49] Gormley，I.C.和Murphy，T.B.（2009年）。等级数据的成员等级模型。贝叶斯分析。4 265-295. ·Zbl 1330.62024号 ·doi:10.1214/09-BA410 [50] Görür，D.、Jäkel，F.和Rasmussen，C.E.（2006年）。具有无限多潜在特征的选择模型。第23届国际机器学习年会论文集361-368。纽约ACM。 [51] Grone，R.、Johnson，C.R.、de Sá，E.M.和Wolkowicz，H.（1984）。部分厄米矩阵的正定完备。线性代数应用。58 109-124. ·Zbl 0547.15011号 ·doi:10.1016/0024-3795（84）90207-6 [52] Guiver，J.和Snelson，E.（2009年）。Plackett-Luce排名模型的贝叶斯推断。第26届国际机器学习年会论文集377-384。纽约ACM。 [53] Handcock，M.S.、Raftery，A.E.和Tantrum，J.M.（2007年）。基于模型的社交网络聚类。J.罗伊。统计师。Soc.序列号。甲170 301-354·doi:10.1111/j.1467-985X.2007.00471.x [54] Hastie，T.和Tibshirani，R.（1998年）。通过成对耦合进行分类。安。统计师。26 451-471·Zbl 0932.62071号 ·doi:10.1214/aos/1028144844 [55] Hoff，P.D.、Raftery，A.E.和Handcock，M.S.（2002年）。社会网络分析的潜在空间方法。J.Amer。统计师。协会97 1090-1098·Zbl 1041.62098号 ·doi:10.1198/016214502388618906 [56] Holland，P.W.、Laskey，K.B.和Leinhardt，S.（1983年）。随机块模型：第一步。社交网络5 109-137·doi:10.1016/0378-8733（83）90021-7 [57] 胡佛，D.N.（1982）。行-列交换性和概率的广义模型。《概率统计中的可交换性》（罗马，1981）281-291。荷兰北部，阿姆斯特丹。 [58] Huang，T.-K.，Weng，R.C.和Lin，C.-J.（2006）。广义Bradley-Terry模型和多类概率估计。J.马赫。学习。第7 85-115号决议·Zbl 1222.68219号 [59] Hunter，D.R.（2004）。广义布莱德雷-特里模型的MM算法。安。统计师。32 384-406. ·Zbl 1105.62359号 ·doi:10.1214/aos/1079120141 [60] Javanmard，A.和Montanari，A.（2011年）。不完全噪声距离测量的定位。2011年IEEE国际信息理论会议（ISIT）1584-1588。IEEE，纽约·Zbl 1269.05098号 ·doi:10.1007/s10208-012-9129-5 [61] Johnson，C.R.（1990）。矩阵完成问题：一项调查。《矩阵理论与应用》（Phoenix，AZ，1989）。程序。交响乐。申请。数学。40 171-198. 阿默尔。数学。佛罗里达州普罗维登斯Soc·doi:10.1090/psapm/040/1059486 [62] Keshavan，R.H.、Montanari，A.和Oh，S.（2010年）。从嘈杂的条目中完成矩阵。J.马赫。学习。第11号决议2057-2078·Zbl 1242.62069号 [63] Keshavan，R.H.、Montanari，A.和Oh，S.（2010年）。从几个条目完成矩阵。IEEE传输。通知。理论56 2980-2998·Zbl 1242.62069号 ·doi:10.1109/TIT.2010.2046205 [64] Koltchinskii，V.（2011）。冯·诺依曼熵惩罚和低秩矩阵估计。安。统计师。39 2936-2973. ·Zbl 1246.62138号 ·doi:10.1214/11-AOS926 [65] Koltchinskii，V.、Lounici，K.和Tsybakov，A.B.（2011年）。噪声低秩矩阵补全的核形式惩罚和最优速率。安。统计师。39 2302-2329. ·Zbl 1231.62097号 ·doi:10.1214/11-AOS894 [66] Lange，K.、Hunter，D.R.和Yang，I.（2000年）。使用替代目标函数优化传输。J.计算。图表。统计师。9 1-59. [67] Leskovec，J.、Lang，K.J.、Dasgupta，A.和Mahoney，M.W.（2008）。大型社会和信息网络中社区结构的统计特性。第17届万维网国际会议记录695-704。ACM，中国北京。 [68] Lovász，L.（2012）。大型网络和图形限制。美国数学学会学术讨论会出版物60。阿默尔。数学。佛罗里达州普罗维登斯Soc·Zbl 1292.05001号 [69] Lovász，L.和Szegedy，B.（2006）。稠密图序列的极限。J.组合理论系列。B 96 933-957·Zbl 1113.05092号 ·doi:10.1016/j.jctb.2006.05.002 [70] Lubetzky，E.和Zhao，Y.（2012）。随机图中大偏差的副本对称性。预打印。可从获取·Zbl 1348.05195号 ·doi:10.1002/rsa.20536 [71] Luce，R.D.（1959年）。个人选择行为：理论分析。纽约威利·Zbl 0093.31708号 [72] Luce，R.D.（1977年）。二十年后的选择公理。J.数学。心理学15 215-233·Zbl 0357.92033号 ·doi:10.1016/0022-2496（77）90032-3 [73] Mazumder，R.、Hastie，T.和Tibshirani，R.（2010）。用于学习大型不完备矩阵的谱正则化算法。J.马赫。学习。第11号决议2287-2322·Zbl 1242.68237号 [74] Mossel，E.、Neeman，J.和Sly，A.（2012年）。随机块模型和重建。预打印。可从获取·Zbl 1350.05154号 [75] Nadakuditi，R.R.（2013）。OptSrink：一种通过最优数据驱动的奇异值收缩来改进低秩信号矩阵去噪的算法。预打印。可从获取·Zbl 1360.62399号 ·doi:10.1109/TIT.2014.2311661 [76] Negahban，S.和Wainwright，M.J.（2011年）。带有噪声和高维缩放的（近）低秩矩阵的估计。安。统计师。39 1069-1097. ·Zbl 1216.62090号 ·doi:10.1214/10-AOS850 [77] Nowicki，K.和Snijders，T.A.B.（2001）。随机块体结构的估计和预测。J.Amer。统计师。协会96 1077-1087·Zbl 1072.62542号 ·doi:10.1198/016214501753208735 [78] Oh，S.、Montanari，A.和Karbasi，A.（2010年）。从本地连接性定位传感器网络：MDS-MAP算法的性能分析。信息理论研讨会（ITW）1-5。IEEE，纽约。 [79] Oliveira，R.I.（2009）。具有独立边的随机图中邻接矩阵和拉普拉斯算子的集中。预打印。可在。 [80] Plackett，R.L.（1975年）。排列分析。J.R.统计社会服务。C.申请。《美国联邦法律大全》第24卷第193-202页。 [81] Radin，C.和Yin，M.（2013）。指数随机图中的相变。附录申请。普罗巴伯。23 2458-2471. ·Zbl 1278.05225号 ·doi:10.1214/12-AAP907 [82] Rao，P.V.和Kupper，L.L.（1967年）。配对比较实验中的联系：布拉德利-特里模型的推广。J.Amer。统计师。协会62 194-204·doi:10.1080/01621459.1967.10482901 [83] Rennie，J.D.和Srebro，N.（2005年）。用于协同预测的快速最大边际矩阵分解。第22届机器学习国际会议论文集713-719。纽约ACM。 [84] Rohde，A.和Tsybakov，A.B.（2011年）。高维低秩矩阵的估计。安。统计师。39 887-930. ·Zbl 1215.62056号 ·doi:10.1214/10-AOS860 [85] Rohe，K.、Chatterjee，S.和Yu，B.（2011年）。谱聚类和高维随机块模型。安。统计师。39 1878-1915. ·Zbl 1227.62042号 ·doi:10.1214/11-AOS887 [86] Rohe，K.、Qin，T.和Fan，H.（2012）。具有正则化估计量的最高维随机块模型。预打印。可从获取·Zbl 1482.62063号 [87] Rudelson，M.和Vershynin，R.（2007年）。大矩阵抽样：一种通过几何函数分析的方法。J.ACM 54第21条，第19页（电子版）·Zbl 1326.68333号 ·doi:10.1145/1255443.1255449 [88] Simons，G.和Yao，Y.C.（1999）。在用于配对比较的布莱德雷-特里模型中，参数数量趋于无穷大时的渐近性。安。统计师。27 1041-1060·兹比尔0951.62061 ·doi:10.1214/aos/1018031267 [89] Singer，A.（2008年）。从局部距离对全球定位的评论。程序。国家。阿卡德。科学。美国105 9507-9511·Zbl 1205.86043号 ·doi:10.1073/pnas.0709842104 [90] Singer，A.和Cucuringu，M.（2009/10）。用刚性理论证明低秩矩阵完备的唯一性。SIAM J.矩阵分析。申请。31 1621-1641. ·Zbl 1221.15038号 ·doi:10.1137/090750688 [91] Snijders，T.A.B.和Nowicki，K.（1997年）。具有潜在块结构的图的随机块模型的估计和预测。J.分类14 75-100·Zbl 0896.62063号 ·数字对象标识代码：10.1007/s003579900004 [92] Spence，I.和Domoney，D.（1974年）。非度量多维标度的单主题不完整设计。《心理测量学》39 469-490·Zbl 0295.92019号 ·doi:10.1007/BF02291669 [93] Talagrand，M.（1996）。重新审视独立。安·普罗巴伯。24 1-34. ·Zbl 0858.60019号 ·doi:10.1214/aop/1042644705 [94] Vu，V.H.（2007）。随机矩阵的谱范数。组合数学27 721-736·Zbl 1164.05066号 ·doi:10.1007/s00493-007-2190-z [95] Wolfe，P.J.和Olhede，S.C.（2013）。非参数graphon估计。预打印。可从获取。 [96] Yang，J.J.、Han，Q.和Airoldi，E.M.（2014）。可交换图模型的非参数估计和测试。第十七届国际人工智能与统计会议论文集。《机器学习研究杂志》，会议和研讨会论文集，第33卷1060-1067。 [97] Zermelo，E.（1929）。Die Berechnung der Turnier-Elergebnisse als ein Maximump roblem der Wahrscheinlichkeitsrechnung.（瓦尔申利奇基特勒最大问题）。数学。字29 436-460·doi:10.1007/BF01180541 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。