陈雨欣；范建清；马聪；严玉玲 在鲁棒PCA中桥接凸优化和非凸优化：噪声、离群值和缺失数据。 （英语） Zbl 1486.62181号 Ann.统计。 49，第5期，2948-2971（2021）. 小结：本文为低秩矩阵估计中的凸规划方法提供了改进的理论保证，在存在（1）随机噪声，（2）粗稀疏离群值和（3）缺失数据的情况下。这个问题通常被称为稳健主成分分析，查找各个域中的应用程序。尽管凸松弛具有广泛的适用性，但可用的统计支持（尤其是随机噪声存在下的稳定性分析）仍然是高度次优的，我们在本文中对此进行了加强。当未知矩阵是条件良好的、非相干的和常秩的时，我们证明了原则凸规划在欧几里德损失和（{ell_{infty}}）损失方面达到了接近最优的统计精度。所有这一切都发生在观测值的几乎一个常数部分被任意大小的离群值破坏的情况下。关键的分析思想在于将所使用的凸程序和一个辅助的非凸优化算法连接起来，这就是本文的标题。 引用于三文件 MSC公司： 62H25个 因子分析和主成分；对应分析 62甲12 多元分析中的估计 90C25型 凸面编程 90C26型 非凸规划，全局优化 94甲12 信号理论（表征、重建、滤波等） 关键词：凸松弛；\（ell_\infty）保证；遗漏分析；稳健主成分分析 软件：LMa拟合；Wirter流量；softImpute软件 PDF格式BibTeX公司 XML格式引用 \textit{Y.Chen}等人，Ann.Stat.49，No.5，2948--2971（2021；Zbl 1486.62181） 全文： 内政部 arXiv公司 链接 参考文献： [1] Agarwal，A.、Negahban，S.和Wainwright，M.J.（2012年）。通过凸松弛的噪声矩阵分解：高维中的最优速率。安。统计师。40 1171-1197. ·Zbl 1274.62219号 ·doi:10.1214/12-AOS1000 [2] Ahmed，A.、Recht，B.和Romberg，J.（2014）。使用凸规划的盲反卷积。IEEE传输。Inf.理论60 1711-1732. ·Zbl 1360.94057号 ·网址：10.1109/TIT.2013.2294644 [3] Cai，H.、Cai，J.-F.和Wei，K.（2019年）。用于稳健主成分分析的加速交替投影。J.马赫。学习。物件。20第20、33号论文·Zbl 1483.62098号 [4] Cai，T.T.，Ma，Z.和Wu，Y.（2013）。稀疏PCA：最优速率和自适应估计。安。统计师。41 3074-3110. ·Zbl 1288.62099号 ·doi:10.1214/13-AOS1178 [5] Cai，J.-F.和Wei，K.（2018年）。通过具有最佳采样复杂度的黎曼优化求解无相方程组。预印本。arXiv:1809.02773。 [6] Candès，E.J.、Li，X.和Soltanolkotabi，M.（2015）。通过Wirtier流进行相位恢复：理论和算法。IEEE传输。Inf.理论61 1985-2007. ·Zbl 1359.94069号 ·doi:10.1109/TIT.2015.2399924 [7] Candès，E.和Plan，Y.（2010年）。带噪声的矩阵完成。程序。电气与电子工程师协会98 925-936. [8] Candès，E.J.和Recht，B.（2009年）。通过凸优化实现精确矩阵补全。已找到。计算。数学。9 717-772. ·Zbl 1219.90124号 ·doi:10.1007/s10208-009-9045-5 [9] Candès，E.J.和Tao，T.（2010年）。凸松弛的威力：近最优矩阵补全。IEEE传输。Inf.理论56 2053-2080. ·Zbl 1366.15021号 ·doi:10.1109/TIT.2010.2044061 [10] Candès，E.J.、Li，X.、Ma，Y.和Wright，J.（2011）。稳健的主成分分析？美国临床医学杂志58第11条、第37条·Zbl 1327.62369号 ·数字对象标识代码：10.1145/1970392.1970395 [11] Chandrasekaran，V.、Parrilo，P.A.和Willsky，A.S.（2012）。基于凸优化的潜在变量图形模型选择。安。统计师。40 1935-1967. ·Zbl 1257.62061号 ·doi:10.1214/11-AOS949 [12] Chandrasekaran，V.、Sanghavi，S.、Parrilo，P.A.和Willsky，A.S.（2011年）。矩阵分解的秩稀疏不相干。SIAM J.Optim公司。21 572-596. ·Zbl 1226.90067号 ·数字对象标识代码：10.1137/090761793 [13] Charisopoulos，V.、Davis，D.、Díaz，M.和Drusvyatskiy，D.（2019）。鲁棒盲反褶积的组合优化。预印本。arXiv:：1901.01624·Zbl 1475.94032号 [14] 陈毅（2015）。非相干优化矩阵完成。IEEE传输。Inf.理论61 2909-2923. ·Zbl 1359.15022号 ·doi:10.1109/TIT.2015.2415195 [15] Chen，Y.和Candès，E.J.（2017）。求解随机二次方程组几乎与求解线性系统一样容易。普通纯应用程序。数学。70 822-883. ·Zbl 1379.90024号 ·doi:10.1002/cpa.21638 [16] Chen，Y.和Candès，E.J.（2018）。投影功率法：一种有效的两两差异联合对准算法。普通纯应用程序。数学。71 1648-1714. ·Zbl 1480.90199号 ·doi:10.1002/cpa.21760 [17] Chen，Y.和Chi，Y.（2014）。通过结构化矩阵补全实现稳健的光谱压缩传感。IEEE传输。Inf.理论60 6576-6601. ·Zbl 1360.94064号 ·doi:10.1109/TIT.2014.2343623 [18] Chen，Y.、Guibas，L.J.和Huang，Q.（2014）。基于凸松弛的近最优联合优化匹配。在国际机器学习会议(ICML公司) 100-108. [19] Chen，J.、Liu，D.和Li，X.（2020）。通过梯度下降完成非凸矩形矩阵，无需\[{\ell_{2，\infty}}\]正则化。IEEE传输。通知。理论66 5806-5841·Zbl 1448.90078号 ·doi:10.1109/TIT.2020.2992234 [20] Chen，Y.和Wainwright，M.J.（2015）。通过投影梯度下降进行快速低阶估计：一般统计和算法保证。arXiv：1509.03025。 [21] Chen，Y.、Jalali，A.、Sanghavi，S.和Caramanis，C.（2013）。从错误和擦除中恢复低库矩阵。IEEE信息理论汇刊59 4324-4337. [22] Chen，Y.、Jalali，A.、Sanghavi，S.和Xu，H.（2014）。通过凸优化对部分观察到的图进行聚类。J.马赫。学习。物件。15 2213-2238. ·Zbl 1319.62123号 [23] Chen，Y.，Chi，Y.、Fan，J.和Ma，C.（2019a）。随机初始化梯度下降：非凸相位恢复的快速全局收敛。数学。程序。176 5-37. ·Zbl 1415.90086号 ·doi:10.1007/s10107-019-01363-6 [24] Chen，Y.、Fan，J.、Ma，C.和Yan，Y..（2019b）。噪声矩阵补全的推断和不确定性量化。程序。国家。阿卡德。科学。美国116 22931-22937. ·Zbl 1431.90117号 ·doi:10.1073/pnas.1910053116 [25] Chen，Y.，Chi，Y.、Fan，J.、Ma，C.和Yan，Y..（2020a）。噪声矩阵完成：通过非凸优化了解凸松弛的统计保证。SIAM J.Optim公司。30 3098-3121. ·Zbl 1477.90060号 ·doi:10.1137/19M1290000 [26] Chen，Y.，Chi，Y.、Fan，J.和Ma，C.（2020b）。数据科学的光谱方法：统计视角。预印本。arXiv:：2012.08496。 [27] Chen，Y.、Fan，J.、Wang，B.和Yan，Y..（2020c）。凸优化和非凸优化对于噪声盲反褶积都是极小最优的。预印本。arXiv:：2008.01724。 [28] Chen，Y.、Fan，J.、Ma，C.和Yan，Y..（2021）。补充“鲁棒PCA中桥接凸优化和非凸优化：噪声、离群值和缺失数据”https://doi.org/10.1214/21-AOS2066SUPP网站 [29] Cherapanamjeri，Y.、Gupta，K.和Jain，P.（2017年）。几乎最优的稳健矩阵完成。在会议记录34第十届国际机器学习会议70 797-805. JMLR.org。 [30] Chi，Y.，Lu，Y.M.和Chen，Y.（2019）。非凸优化满足低秩矩阵分解：概述。IEEE传输。信号处理。67 5239-5269·Zbl 07123429号 ·doi:10.1109/TSP.2019.2937282 [31] Davenport，M.A.和Romberg，J.（2016）。从不完全观测中恢复低秩矩阵的概述。IEEE信号处理专题杂志10 608-622. [32] Donoho，D.和Gavish，M.（2014）。奇异值阈值矩阵去噪的最小最大风险。安。统计师。42 2413-2440. ·2014年10月13日 ·doi:10.1214/14-AOS1257 [33] Drusvyatskiy，D.、Ioffe，A.D.和Lewis，A.S.（2021）。使用类泰勒模型的非光滑优化：误差界、收敛性和终止准则。数学。程序。185 357-383. ·Zbl 1459.65083号 ·文件编号：10.1007/s10107-019-01432-w [34] Fan，J.、Fan，Y.和Lv，J.（2008）。使用因子模型进行高维协方差矩阵估计。J.计量经济学147 186-197. ·Zbl 1429.62185号 ·doi:10.1016/j.jeconom.2008.09.017 [35] Fan，J.、Liao，Y.和Mincheva，M.（2013）。通过阈值化主正交补码进行大协方差估计。J.R.统计社会服务。B.统计方法。75 603-680. ·Zbl 1411.62138号 ·doi:10.1111/rssb.12016 [36] Fan，J.、Wang，W.和Zhong，Y.（2017）。特征向量扰动界及其在稳健协方差估计中的应用。J.马赫。学习。物件。18第207、42号论文·Zbl 1473.15015号 [37] Fan，J.、Wang，W.和Zhong，Y.（2019年）。近似因子模型的稳健协方差估计。J.计量经济学208 5-22. ·兹比尔1452.62410 ·doi:10.1016/j.jeconom.2018.09.003 [38] Fan，J.、Sun，Q.、Zhou，W.-X.和Zhu，Z.（2018）。大数据的主成分分析。预印本。arXiv:：1801.01602。 [39] Feng，J.、Xu，H.和Yan，S.（2013）。基于随机优化的在线鲁棒PCA。在神经信息处理系统研究进展404-412. [40] Ganesh，A.、Wright，J.、Li，X.、Candes，E.J.和Ma，Y.（2010年）。基于主成分追踪的低秩矩阵密集误差校正。2010年IEEE信息理论国际研讨会1513-1517. 电气与电子工程师协会。 [41] Goldfarb，D.、Ma，S.和Scheinberg，K.（2013）。最小化两个凸函数之和的快速交替线性化方法。数学。程序。141 349-382. ·Zbl 1280.65051号 ·doi:10.1007/s10107-012-0530-2 [42] Gross，D.（2011年）。从任何基础上的少数系数中恢复低秩矩阵。IEEE传输。通知。理论57 1548-1566. ·Zbl 1366.94103号 ·doi:10.1109/TIT.2011.2104999 [43] Gu，Q.，Wang，Z.W.和Liu，H.（2016）。通过交替最小化来追求低秩和稀疏结构。在人工智能与统计600-609. [44] Guo，H.、Qiu，C.和Vaswani，N.（2014）。一种在线算法，用于将稀疏和低维信号序列从其和中分离出来。IEEE传输。信号处理。62 4284-4297. ·Zbl 1394.94216号 ·doi:10.1109/TSP.2014.2331612 [45] Hsu，D.、Kakade，S.M.和Zhang，T.（2011）。具有稀疏损坏的鲁棒矩阵分解。IEEE传输。通知。理论57 7221-7234. ·Zbl 1365.15018号 ·doi:10.1109/TIT.2011.2158250 [46] Huang，Q.和Guibas，L.（2013）。通过半定规划实现一致形状映射。计算机图形论坛32 177-186. [47] Jain，P.、Netrapalli，P.和Sanghavi，S.（2013）。使用交替最小化完成低秩矩阵（扩展抽象）。在STOC公司13-会议记录2013ACM计算理论研讨会665-674. 纽约ACM·Zbl 1293.65073号 ·doi:10.1145/2488608.2488693 [48] Jolliffe，I.T.（1986）。主成分分析.统计学中的斯普林格系列纽约州施普林格·doi:10.1007/9781-4757-1904-8 [49] Keshavan，R.H.、Montanari，A.和Oh，S.（2010年）。从几个条目完成矩阵。IEEE传输。通知。理论56 2980-2998. ·Zbl 1366.62111号 ·doi:10.10109/TIT.2010.2046205 [50] Klopp，O.（2014）。具有一般采样分布的噪声低秩矩阵补全。伯努利20 282-303. ·Zbl 1400.62115号 ·doi:10.350/12-BEJ486 [51] Klopp，O.、Lounici，K.和Tsybakov，A.B.（2017年）。稳健的矩阵补全。普罗巴伯。理论相关领域169 523-564. ·Zbl 1383.62167号 ·doi:10.1007/s00440-016-0736-y [52] Koltchinskii，V.、Lounici，K.和Tsybakov，A.B.（2011年）。噪声低秩矩阵补全的核形式惩罚和最优速率。安。统计师。39 2302-2329. ·兹比尔1231.62097 ·doi:10.1214/11-AOS894 [53] Krahmer，F.和Stöger，D.（2021）。关于凸几何的盲反褶积和矩阵补全。普通纯应用程序。数学。74 790-832. ·Zbl 1510.65085号 [54] Li，X.（2013）。压缩传感和矩阵完成，腐蚀比例恒定。施工。大约。37 73-99. ·Zbl 1258.93076号 ·doi:10.1007/s00365-012-9176-9 [55] Li，Y.，Ma，C.，Chen，Y.和Chi，Y.（2019）。秩一测量的非凸矩阵分解。在这个22第二届国际人工智能与统计会议1496-1505. [56] Ma，S.和Aybat，N.S.（2018年）。稳健主成分分析及其变量的高效优化算法。IEEE会议记录106 1411-1426. [57] Ma，C.，Wang，K.，Chi，Y.和Chen，Y.（2020年）。非凸统计估计中的隐式正则化：梯度下降线性收敛用于相位恢复、矩阵补全和盲反褶积。已找到。计算。数学。20 451-632. ·Zbl 1445.90089 ·doi:10.1007/s10208-019-09429-9 [58] Mazumder，R.、Hastie，T.和Tibshirani，R.（2010）。用于学习大型不完备矩阵的谱正则化算法。J.马赫。学习。物件。11 2287-2322. ·Zbl 1242.68237号 [59] Negahban，S.和Wainwright，M.J.（2012年）。限制强凸性和加权矩阵完备：带噪声的最优界。J.马赫。学习。物件。13 1665-1697. ·兹比尔1436.62204 [60] Netrapalli，P.、Jain，P.和Sanghavi，S.（2015）。使用交替最小化进行相位恢复。IEEE传输。信号处理。63 4814-4826. ·Zbl 1394.94421号 ·doi:10.1109/TSP.2015.2448516 [61] Netrapali，P.、Niranjan，U.、Sanghavi，S.、Anandkumar，A.和Jain，P.（2014）。非凸稳健PCA。在神经信息处理系统研究进展1107-1115. [62] Pearson，K.（1901年）。第三章。在与空间中的点系统最接近的直线和平面上。伦敦、爱丁堡和都柏林哲学杂志和科学杂志2 559-572. ·JFM 32.0710.04号 [63] 邱，C.和瓦斯瓦尼，N.（2010）。实时稳健主成分的追求。2010年48第十届Allerton通信、控制和计算年会(阿勒顿) 591-598. 电气与电子工程师协会。 [64] 邱，C.，瓦斯瓦尼，N.，洛伊斯，B.和霍格本，L.（2014）。在大而结构化的噪声中递归鲁棒PCA或递归稀疏恢复。IEEE传输。通知。理论60 5007-5039. ·Zbl 1360.94093号 ·doi:10.1109/TIT.2014.2331344 [65] Shen，Y.、Wen，Z.和Zhang，Y.（2014）。基于低阶分解的增广拉格朗日交替方向矩阵分离方法。最佳方案。方法软件。29 239-263. ·Zbl 1285.90068号 ·doi:10.1080/10556788.2012.700713 [66] Singer，A.（2011年）。通过特征向量和半定规划实现角度同步。申请。计算。哈蒙。分析。30 20-36. ·兹比尔1206.90116 ·doi:10.1016/j.acha.2010.02.001 [67] Srebro，N.和Shraibman，A.（2005年）。等级、跟踪形式和最大形式。在学习理论.计算机科学课堂讲稿3559 545-560. 柏林施普林格·Zbl 1137.68563号 ·doi:10.1007/11503415_37 [68] 孙日荣、罗志清（2016）。通过非凸分解保证矩阵完成。IEEE传输。通知。理论62 6535-6579. ·Zbl 1359.94179号 ·doi:10.1009/TIT.2016.259854 [69] Tao，M.和Yuan，X.（2011）。从不完整和有噪声的观测中恢复矩阵的低秩和稀疏分量。SIAM J.Optim公司。21 57-81. ·Zbl 1218.90115号 ·doi:10.1137/100781894 [70] Vaswani，N.和Narayanamurthy，P.（2018年）。静态和动态鲁棒PCA和矩阵完成：综述。IEEE会议记录106 1359-1379. [71] Vershynin，R.（2012）。介绍随机矩阵的非渐近分析。在压缩传感210-268. 剑桥大学出版社，剑桥。 [72] Wang，G.、Giannakis，G.B.和Eldar，Y.C.（2018年）。通过截断振幅流求解随机二次方程组。IEEE传输。通知。理论64 773-794. ·Zbl 1390.90451号 ·doi:10.1109/TIT.2017.2756858 [73] Wei，K.、Cai，J.-F.、Chan，T.F.和Leung，S.（2016）。低秩矩阵恢复的黎曼优化保证。SIAM J.矩阵分析。申请。37 1198-1222. ·Zbl 1347.65109号 ·doi:10.1137/15M1050525 [74] Wong，R.K.W.和Lee，T.C.M.（2017）。带有噪声项和异常值的矩阵补全。J.马赫。学习。物件。18第147、25号论文·Zbl 1443.15017号 [75] Yi，X.、Park，D.、Chen，Y.和Caramanis，C.（2016）。基于梯度下降的鲁棒PCA快速算法。在钳口4152-4160. [76] Zhan，J.、Lois，B.、Guo，H.和Vaswani，N.（2016）。在线（和离线）鲁棒PCA：新算法和性能保证。在人工智能与统计1488-1496. [77] Zhang，H.，Chi，Y.和Liang，Y.（2016）。具有离群值的可证明非凸相位恢复：中值截断Wirtinger流。在国际机器学习会议1022-1031. [78] Zhang，X.，Wang，L.W.和Gu，Q.（2018）。非凸低秩加稀疏矩阵恢复的统一框架。在国际人工智能与统计会议. [79] Zheng，Q.和Lafferty，J.（2016）。使用Burr-Monteiro因式分解和梯度下降的矩形矩阵补全的收敛性分析。arXiv：1605.07051。 [80] Zhou，Z.，Li，X.，Wright，J.，Candès，E.和Ma，Y.（2010）。稳定的主成分追求。在信息理论国际研讨会1518-1522 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。