×

秩\(2r)迭代最小二乘法:从少量条目中有效恢复病态低秩矩阵。 (英语) 兹伯利07368795

摘要:我们提出了一种新的、简单的、计算效率高的迭代方法来完成低秩矩阵。我们的方法受到了一类分解型迭代算法的启发,但在问题的求解方式上与它们有很大的不同。准确地说,给定一个目标秩,我们不优化秩矩阵的流形,而是允许我们的临时估计矩阵具有特定的超参数化秩(2r)结构。我们的算法,表示为秩(2r)迭代最小二乘法,因此具有较低的内存需求,并且在每次迭代中都解决了一个计算成本较低的稀疏最小二乘问题。我们通过对秩1矩阵简化情况的理论分析来激励我们的算法。经验上,(mathtt{R2RILS})能够从很少的观测值(接近信息极限)中恢复病态低秩矩阵,并且它对加性噪声是稳定的。

MSC公司:

65层55 低阶矩阵逼近的数值方法;矩阵压缩
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] H.Avron、S.Kale、S.P.Kasiviswanathan和V.Sindhwani,核规范正则化的高效实用随机次梯度下降,《第29届国际机器学习会议论文集》,威斯康星州麦迪逊,2012年,第323-330页。
[2] L.Balzano、R.Nowak和B.Recht,《从高度不完整信息在线识别和跟踪子空间》,载于《第48届Allerton通信、控制和计算年会论文集》,IEEE,2010年,第704-711页。
[3] J.D.Blanchard、J.Tanner和K.Wei,CGIHT:压缩传感和矩阵完成的共轭梯度迭代硬阈值,Inf.Inference,4(2015),第289-327页·Zbl 1380.94045号
[4] N.Boumal和P.-A.Absil,通过格拉斯曼流形上的预条件优化完成低秩矩阵,线性代数应用。,475(2015),第200-239页·Zbl 1312.90092号
[5] A.M.Buchanan和A.W.Fitzgibbon,缺失数据矩阵分解的阻尼牛顿算法,《计算机视觉和模式识别会议论文集》,第2卷,IEEE,2005年,第316-322页。
[6] 蔡建峰、坎迪斯、沈振中,矩阵补全的奇异值阈值算法,SIAM J.Optim。,20(2010),第1956-1982页,https://doi.org/10.1137/080738970。 ·Zbl 1201.90155号
[7] E.J.Candes和Y.Plan,带噪音的矩阵完成,Proc。IEEE,98(2010),第925-936页。
[8] E.J.CandeÉs和B.Recht,通过凸优化实现精确矩阵完备,Found。计算。数学。,9(2009),第717-772页·Zbl 1219.90124号
[9] E.J.Candès和T.Tao,凸松弛的力量:近最优矩阵完成,IEEE Trans。通知。《理论》,56(2010),第2053-2080页·Zbl 1366.15021号
[10] Y.Chen、S.Bhojanapalli、S.Sanghavi和R.Ward,完成任何低秩矩阵,可证明,J.Mach。学习。第16号决议(2015年),第2999-3034页·Zbl 1351.62107号
[11] Y.Chen、J.Fan、C.Ma和Y.Yan,《噪声矩阵完成的推断和不确定性量化》,Proc。国家。阿卡德。科学。美国,116(2019),第22931-22937页·兹比尔1431.90117
[12] E.C.Chi和T.Li,从计算统计学角度看矩阵完成,Wiley Interdiscip。修订版计算。《统计》,11(2019),e1469。
[13] Chi Y.M.Lu和Y.Chen,非凸优化满足低秩矩阵分解:概述,IEEE Trans。信号处理。,67(2019年),第5239-5269页·Zbl 07123429号
[14] M.A.Davenport和J.Romberg,从不完全观测中恢复低秩矩阵概述,IEEE J.Sel。主题信号处理。,10(2016年),第608-622页。
[15] K.R.Davidson和S.J.Szarek,局部算子理论,随机矩阵和Banach空间,《Banach空间几何手册》,第1卷,北荷兰,阿姆斯特丹,2001年,第317-366页·Zbl 1067.46008号
[16] M.Fazel、H.Hindi和S.P.Boyd,《应用于最小阶系统近似的秩最小化启发式算法》,载于Proc。阿默尔。控制会议,第6卷,IEEE,2001年,第4734-4739页。
[17] M.Fornasier、H.Rauhut和R.Ward,通过迭代加权最小二乘最小化恢复低秩矩阵,SIAM J.Optim。,21(2011),第1614-1640页,https://doi.org/10.1137/100811404。 ·Zbl 1236.65044号
[18] R.Ge、J.D.Lee和T.Ma,《矩阵完成没有伪局部极小值》,摘自《神经信息处理系统进展》,麻省理工学院出版社,马萨诸塞州剑桥,2016年,第2973-2981页。
[19] D.Gross,从任何基础上的少数系数中恢复低秩矩阵,IEEE Trans。通知。《理论》,57(2011),第1548-1566页·Zbl 1366.94103号
[20] J.P.Haldar和D.Hernando,使用功率因数分解线性矩阵方程的秩约束解,IEEE信号处理。莱特。,16(2009年),第584-587页。
[21] M.Hardt,《理解矩阵补全的交替最小化》,载于2014年IEEE第55届计算机科学基础年度研讨会论文集,IEEE,2014年,第651-660页。
[22] K.Hayami,奇异系统上共轭梯度法的收敛性,预印本,https://arxiv.org/abs/1809.00793, 2018.
[23] J.Hyeong Hong和A.Fitzgibbon,矩阵分解的秘密:近似、数值、流形优化和随机重启,《IEEE计算机视觉国际会议论文集》,IEEE,2015年,第4130-4138页。
[24] P.Jain和P.Netrapali,有限样本的快速精确矩阵补全,《第28届学习理论会议论文集》,2015年,第1007-1034页。
[25] P.Jain、P.Netrapalli和S.Sanghavi,使用交替最小化完成低秩矩阵,载于《第四十五届ACM计算理论研讨会论文集》,ACM,2013年,第665-674页·Zbl 1293.65073号
[26] S.Ji和J.Ye,《迹范数最小化的加速梯度法》,载《第26届机器学习国际年会论文集》,ACM,2009年,第457-464页。
[27] R.H.Keshavan、A.Montanari和S.Oh,《几个条目的矩阵补全》,IEEE Trans。通知。《理论》,56(2010),第2980-2998页·Zbl 1366.62111号
[28] C.Kuömmerle和J.Sigl,Harmonic mean迭代加权最小二乘法用于低秩矩阵恢复,J.Mach。学习。决议,19(2018),47·Zbl 1512.62057号
[29] A.Kyrillidis和V.Cevher,硬阈值方法的矩阵食谱,数学杂志。《成像视觉》,48(2014),第235-265页·Zbl 1311.90141号
[30] S.Ma、D.Goldfarb和L.Chen,矩阵秩最小化的不动点和Bregman迭代方法,数学。程序。,128(2011),第321-353页·Zbl 1221.65146号
[31] G.Marjanovic和V.Solo,《On(\ell_q)optimization and matrix completion》,IEEE Trans。信号处理。,60(2012),第5714-5724页·Zbl 1393.94353号
[32] R.Mazumder、T.Hastie和R.Tibshirani,学习大型不完备矩阵的谱正则化算法,J.Mach。学习。第11号决议(2010年),第2287-2322页·兹比尔1242.68237
[33] B.Mishra、G.Meyer、S.Bonnabel和R.Sepulchre,固定秩矩阵分解和黎曼低秩优化,计算。统计人员。,29(2014),第591-621页·Zbl 1306.65107号
[34] B.Mishra和R.Sepulchre,R3MC:低秩矩阵完备的黎曼三因子算法,载于《第53届IEEE决策与控制会议论文集》,IEEE,2014,第1137-1142页。
[35] T.Ngo和Y.Saad,用于矩阵完成的格拉斯曼流形上的标度梯度,《神经信息处理系统进展》,麻省理工学院出版社,马萨诸塞州剑桥,2012年,第1412-1420页。
[36] T.Okatani和K.Deguchi,《关于缺失分量下矩阵因式分解的Wiberg算法》,国际计算杂志。视觉。,72(2007年),第329-337页·Zbl 1477.68404号
[37] T.Okatani、T.Yoshida和K.Deguchi,《含缺失分量的低阶矩阵分解的高效算法和最新算法的性能比较》,《国际计算机视觉会议论文集》,IEEE,2011年,第842-849页。
[38] C.C.Paige和M.A.Saunders,LSQR:稀疏线性方程组和稀疏最小二乘的算法,ACM Trans。数学。软件(TOMS),8(1982),第43-71页·Zbl 0478.65016号
[39] D.L.Pimentel-Alarcoín、n.Boston和R.D.Nowak,《低秩矩阵完备性确定性抽样模式的表征》,J.Sel。主题信号处理。,10(2016年),第623-636页。
[40] B.Recht,《矩阵完成的一种简单方法》,J.Mach。学习。Res.,12(2011),第3413-3430页·兹比尔1280.68141
[41] B.Recht和C.Reö,大规模矩阵补全的并行随机梯度算法,数学。程序。计算。,5(2013年),第201-226页·Zbl 1275.90039号
[42] J.D.Rennie和N.Srebro,协作预测的快速最大边际矩阵分解,第22届机器学习国际会议论文集,ACM,2005年,第713-719页。
[43] A.Singer和M.Cucuringu,通过刚性理论完成低秩矩阵的唯一性,SIAM J.矩阵分析。申请。,31(2010),第1621-1641页,https://doi.org/10.1137/090750688。 ·Zbl 1221.15038号
[44] R.Sun和Z.-Q.Luo,通过非凸因子分解保证矩阵完成,IEEE Trans。通知。《理论》,62(2016),第6535-6579页·兹比尔1359.94179
[45] J.Tanner和K.Wei,矩阵完成的标准化迭代硬阈值,SIAM J.Sci。计算。,35(2013),第S104-S125页,https://doi.org/10.1137/120876459。 ·Zbl 1282.65043号
[46] J.Tanner和K.Wei,用交替最速下降法完成低秩矩阵,应用。计算。哈蒙。分析。,40(2016年),第417-429页·Zbl 1336.65047号
[47] K.-C.Toh和S.Yun,核范数正则化线性最小二乘问题的加速近似梯度算法,Pac。J.优化。,6(2010),第615-640页·Zbl 1205.90218号
[48] B.Vandereycken,通过黎曼优化完成低秩矩阵,SIAM J.Optim。,23(2013),第1214-1236页,https://doi.org/10.1137/10845768。 ·Zbl 1277.15021号
[49] K.Wei、J.-F.Cai、T.F.Chan和S.Leung,低秩矩阵恢复的黎曼优化保证,SIAM J.matrix Anal。申请。,37(2016),第1198-1222页,https://doi.org/10.1137/15M1050525。 ·Zbl 1347.65109号
[50] Z.Wen、W.Yin和Y.Zhang,用非线性连续过松弛算法求解矩阵补全的低阶因式分解模型,数学。程序。计算。,4(2012年),第333-361页·Zbl 1271.65083号
[51] T.Wiberg,《数据缺失时主成分的计算》,载于《第二届计算统计学研讨会论文集》,维也纳,1976年,第229-236页·Zbl 0385.62038号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。