×
沈、袁;徐洪宇;刘、辛

稳健主成分分析的交替最小化方法。 （英语） Zbl 1436.65071号

最佳方案。方法软件。 34，第6号，1251-1276（2019）.
摘要：本文主要研究信息论、统计学和工程等领域中出现的稳健主成分分析（RPCA）问题的解决方法。我们采用了一种模型，该模型在秩约束下使观测误差和稀疏性度量之和最小化。为了解决这个问题，我们提出了一种两步交替最小化方法。在第一步中，对称低秩乘积极小化问题（本质上是部分奇异值分解）以中等精度得到了有效的求解。然后，第二步导出一个封闭式解决方案。该方法几乎是无参数的，并且在非常宽松的条件下保证了全局收敛到严格的局部极小值。我们将所提出的方法与一些现有的求解器进行了比较，数值实验证明了我们的方法在解决合成和实际RPCA测试问题方面的出色性能。特别是，我们说明了所提出的方法在以中等精度解决大型问题方面的巨大潜力。

引用于2文件

MSC公司：

65千5 数值数学规划方法
90C06型 数学规划中的大尺度问题
62H25个 因子分析和主成分；对应分析

关键词：

稳健主成分分析;对称低秩积极小化;奇异值分解;交替最小化

软件：

LMa拟合
PDF格式BibTeX公司 XML格式引用
\textit{Y.Shen}等人，Optim。方法软件。34，第6号，1251--1276（2019；Zbl 1436.65071）
全文： DOI程序

参考文献：

[1] 阿马尔迪，E。；Kann，V.，关于线性系统中最小化非零变量或未满足关系的逼近性，Theoret。计算。科学。，209, 237-260 (1998) ·Zbl 0915.68072号 ·doi:10.1016/S0304-3975（97）00115-1
[2] 巴斯里（Basri），R。；雅各布斯，D.，兰伯反射和线性子空间，IEEE Trans。模式分析。机器。整数。，25, 218-233 (2003) ·doi:10.1109/TPAMI.2003.1177153
[3] 贝克，A。；Tetruashvili，L.，关于块坐标下降型方法的收敛性，SIAM J.Optim。，23, 2037-2060 (2013) ·Zbl 1297.90113号 ·数字对象标识代码：10.1137/120887679
[4] 布曼，T。；Zahzah，E.H.，《通过主成分追求实现稳健主成分分析：视频监控中比较评估的回顾》，计算机。视觉。图像理解。，122, 22-34 (2014) ·doi:10.1016/j.cviu.2013.11.009
[5] 博伊德，S。；北卡罗来纳州帕里赫。；朱，E。；佩莱托，B。；Eckstein，J.，《通过交替方向乘数法进行分布式优化和统计学习》，Found。趋势马赫数。学习。，3, 1-122 (2011) ·Zbl 1229.90122号 ·doi:10.1561/220000016
[6] 坎迪斯，E.J。；Recht，B.，通过凸优化实现精确矩阵补全，Found。计算。数学。，9, 717-772 (2009) ·Zbl 1219.90124号 ·doi:10.1007/s10208-009-9045-5
[7] 坎迪斯，E.J。；Tao，T.，凸松弛的威力：近最优矩阵完成，IEEE Trans。通知。理论，562053-2080（2010）·兹伯利1366.15021 ·doi:10.1109/TIT.2010.2044061
[8] 坎迪斯，E.J。；J.隆伯格。；Tao，T.，《鲁棒不确定性原理：从高度不完整的频率信息中精确重建信号》，IEEE Trans。《信息论》，52，489-509（2006）·兹比尔1231.94017 ·doi:10.1109/TIT.2005.862083
[9] 坎迪斯，E.J。；李，X。；马，Y。；Wright，J.，稳健主成分分析？，J.ACM，58，1-37（2011）·兹比尔1327.62369 ·数字对象标识代码：10.1145/1970392.1970395
[10] Chandrasekaran，V.，Sanghavi，S.，Parrilo，P.和Willsky，A。，稀疏和低秩矩阵分解第47届Allerton通信、控制和计算年会，2009年。阿勒顿，2009年，美国伊利诺伊州蒙蒂塞洛，2009年，第962-967页。
[11] Chandrasekaran，V。；Sanghavi，S。；帕里罗，P.A。；Willsky，A.S.，矩阵分解的秩-部分非相干，SIAM J.Optim。，21, 572-596 (2011) ·Zbl 1226.90067号 ·doi:10.1137/090761793
[12] 陈，C。；沈毅。；You，Y.，关于三块乘法器交替方向法的收敛性分析，文章摘要。申请。分析。，2013 (2013) ·Zbl 1302.90148号
[13] 陈，C。；他，B。；Ye，Y。；Yuan，X.，多块凸极小化问题admm的直接推广不一定收敛，数学。程序。序列号。A、 155、57-79（2016）·Zbl 1332.90193号 ·doi:10.1007/s10107-014-0826-5
[14] Donoho，D.，压缩传感，IEEE Trans。通知。理论，521289-1306（2006）·Zbl 1288.94016号 ·doi:10.1109/TIT.2006.871582
[15] Eldén，L.，《数据挖掘和模式识别中的矩阵方法（算法基础）》（2007年），工业和应用数学学会：工业与应用数学学会，宾夕法尼亚州费城·Zbl 1120.68092号
[16] Ganeshy，A.、Wright，J.、Li，X.、Candès，E.J.和Ma，Y。，基于主成分追踪的低秩矩阵密集误差校正，IEEE信息理论会议（ISIT）国际研讨会，2010年6月，美国德克萨斯州奥斯汀，第1513-1517页。
[17] Han，D。；袁，X.，关于乘数交替方向法的注记，J.Optim。理论应用。，155, 227-238 (2012) ·Zbl 1255.90093号 ·文件编号：10.1007/s10957-012-0003-z
[18] Hong，M.和Luo，Z.-Q。，关于交替方向乘法器法的线性收敛性，预印本（2012）。可从获取。
[19] Hong，M.、Luo，Z.-Q.和Razaviyayn，M。，一类非凸问题交替方向乘子法的收敛性分析，预印本（2014）。可从获取。
[20] 江（Jiang，B.）和张（Zhang，S.）。，结构非凸优化ε-驻点的迭代界《技术报告》，明尼苏达大学，2014年。
[21] Li，G.和Pong，T。，一类非凸优化问题的Peaceman-Rachford分裂，预印本（2015）。可从获取。
[22] Li，G.和Pong，T.K。，非凸可行性问题的Douglas-Rachford分裂，技术报告，新南威尔士大学和香港理工大学，2014年。
[23] 李，M。；Sun博士。；Toh，K.-C.，一个收敛的3块半近似ADMM，用于具有一个强凸块的凸最小化问题，亚太地区。《运营杂志》。研究，32，1550024-（1-19）（2015）·兹伯利1327.90214 ·doi:10.1142/S021759591550244
[24] Lin，Z.，Chen，M.，Wu，L.和Ma，Y。，精确恢复受损低秩矩阵的增广拉格朗日乘子方法，UIUC技术报告UILU-ENG-09-2215，提交给数学编程，2009年。
[25] Lin，Z.，Ganesh，A.，Wright，J.，Wu，L.，Chen，M.和Ma，Y。，精确恢复受损低秩矩阵的快速凸优化算法，技术报告，UIUC技术报告UILU-ENG-09-22142009。
[26] 刘，Z。；Vandenberghe，L.，核范数逼近的内点方法及其在系统辨识中的应用，SIAM J.矩阵分析。申请。，31, 1235-1256 (2009) ·Zbl 1201.90151号 ·数字对象标识代码：10.1137/090755436
[27] 刘，X。；温，Z。；Zhang，Y.，对称低秩乘积矩阵逼近的一种有效Gauss-Newton算法，SIAM J.Optim。，25, 1571-1608 (2014) ·Zbl 1321.65060号 ·数字对象标识代码：10.1137/140971464
[28] 森田，T。；Kanade，T.，从图像流中恢复形状和运动的顺序分解方法，IEEE Trans。模式分析。机器。整数。，19, 858-867 (1997) ·doi:10.1109/34.608289
[29] Mu，C。；Zhang，Y。；Wright，J。；Goldfarb，D.，《可扩展稳健矩阵恢复：Frank-Wolfe满足近端方法》，SIAM J.Sci。计算。，38, 3291-3317 (2016) ·Zbl 1348.90465号 ·数字对象标识码：10.1137/15M101628X
[30] Nesterov，Y.，凸优化入门讲座：基础课程·Zbl 1086.90045号
[31] Nesterov，Y.，坐标下降法在大规模优化问题上的效率，SIAM J.Optim。，22, 341-362 (2012) ·Zbl 1257.90073号 ·数字对象标识代码：10.1137/100802001
[32] 罗德里格斯，B.W.P。，基于交替极小化的快速主成分追踪，IEEE国际图像处理会议，ICIP 2013，墨尔本，维多利亚州，澳大利亚，2013。
[33] 沈毅。；温，Z。；Zhang，Y.，基于低阶分解的增广拉格朗日交替方向矩阵分离方法，Optim。方法软件。，29, 239-263 (2014) ·Zbl 1285.90068号 ·doi:10.1080/10556788.2012.700713
[34] 陶，M。；Yuan，X.，从不完全和噪声观测中恢复矩阵的低秩和稀疏分量，SIAM J.Optim。，21, 57-81 (2011) ·Zbl 1218.90115号 ·数字对象标识代码：10.1137/100781894
[35] 托马西，C。；Kanade，T.，正写法下图像流的形状和运动：一种因子分解方法，Int.J.Comput。愿景，9137-154（1992）·doi:10.1007/BF00129684
[36] Tseng，P.，不可微极小化块坐标下降法的收敛性，J.Optim。理论应用。，109, 475-494 (2001) ·Zbl 1006.65062号 ·doi:10.1023/A:1017501703105
[37] Wang，Y.、Yin，W.和Zeng，J。，非凸非光滑优化中admm的全局收敛性，预印本（2015）。
[38] 王，Z。；赖，M。；卢，Z。；风扇，W。；Davulcu，H。；Ye，J.，低秩矩阵完成的正交秩一矩阵追踪，SIAM J.Sci。计算。，37, 488-514 (2015) ·Zbl 1315.65044号 ·doi:10.1137/130934271
[39] Z.Wen、D.Goldfarb和K.Scheinberg。，半定规划的块坐标下降法，英寸半定、锥和多项式优化手册M.F.Anjos和J.B.Lasserre主编，施普林格，海德堡，2012，533-564·兹比尔1334.90118
[40] Wright，S.J.，坐标下降算法，数学。程序。，151, 3-34 (2015) ·Zbl 1317.49038号 ·doi:10.1007/s10107-015-0892-3
[41] Wright，J.、Peng，Y.、Ma，Y.，Ganesh，A.和Rao，S。，稳健主成分分析：通过凸优化精确恢复受损低秩矩阵神经信息处理系统，NIPS 2009，加拿大不列颠哥伦比亚省温哥华，2009。
[42] 袁，X。；Yang，J.，通过交替方向法进行稀疏和低阶矩阵分解，Pac。J.Optim。，9, 167-180 (2013) ·Zbl 1269.90061号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。