乔纳森·鲍奇;波阿斯·纳德勒;皮尼·齐尔伯 秩\(2r)迭代最小二乘法:从少量条目中有效恢复病态低秩矩阵。 (英语) 兹伯利07368795 SIAM J.数学。数据科学。 3,编号1,439-465(2021). 摘要:我们提出了一种新的、简单的、计算效率高的迭代方法来完成低秩矩阵。我们的方法受到了一类分解型迭代算法的启发,但在问题的求解方式上与它们有很大的不同。准确地说,给定一个目标秩,我们不优化秩矩阵的流形,而是允许我们的临时估计矩阵具有特定的超参数化秩(2r)结构。我们的算法,表示为秩(2r)迭代最小二乘法,因此具有较低的内存需求,并且在每次迭代中都解决了一个计算成本较低的稀疏最小二乘问题。我们通过对秩1矩阵简化情况的理论分析来激励我们的算法。经验上,(mathtt{R2RILS})能够从很少的观测值(接近信息极限)中恢复病态低秩矩阵,并且它对加性噪声是稳定的。 引用于2文件 MSC公司: 65层55 低阶矩阵逼近的数值方法;矩阵压缩 关键词:劣等的;低秩矩阵;矩阵完成;R2RILS算法 软件:softImpute软件;RTRMC公司;水母;CRAIG公司;LSQR(LSQR) PDF格式BibTeX公司 XML格式引用 \textit{J.Bauch}等人,SIAM J.数学。数据科学。3,编号1,439--465(2021;Zbl 07368795) 全文: 内政部 arXiv公司 参考文献: [1] H.Avron、S.Kale、S.P.Kasiviswanathan和V.Sindhwani,核规范正则化的高效实用随机次梯度下降,《第29届国际机器学习会议论文集》,威斯康星州麦迪逊,2012年,第323-330页。 [2] L.Balzano、R.Nowak和B.Recht,《从高度不完整信息在线识别和跟踪子空间》,载于《第48届Allerton通信、控制和计算年会论文集》,IEEE,2010年,第704-711页。 [3] J.D.Blanchard、J.Tanner和K.Wei,CGIHT:压缩传感和矩阵完成的共轭梯度迭代硬阈值,Inf.Inference,4(2015),第289-327页·Zbl 1380.94045号 [4] N.Boumal和P.-A.Absil,通过格拉斯曼流形上的预条件优化完成低秩矩阵,线性代数应用。,475(2015),第200-239页·Zbl 1312.90092号 [5] A.M.Buchanan和A.W.Fitzgibbon,缺失数据矩阵分解的阻尼牛顿算法,《计算机视觉和模式识别会议论文集》,第2卷,IEEE,2005年,第316-322页。 [6] 蔡建峰、坎迪斯、沈振中,矩阵补全的奇异值阈值算法,SIAM J.Optim。,20(2010),第1956-1982页,https://doi.org/10.1137/080738970。 ·Zbl 1201.90155号 [7] E.J.Candes和Y.Plan,带噪音的矩阵完成,Proc。IEEE,98(2010),第925-936页。 [8] E.J.CandeÉs和B.Recht,通过凸优化实现精确矩阵完备,Found。计算。数学。,9(2009),第717-772页·Zbl 1219.90124号 [9] E.J.Candès和T.Tao,凸松弛的力量:近最优矩阵完成,IEEE Trans。通知。《理论》,56(2010),第2053-2080页·Zbl 1366.15021号 [10] Y.Chen、S.Bhojanapalli、S.Sanghavi和R.Ward,完成任何低秩矩阵,可证明,J.Mach。学习。第16号决议(2015年),第2999-3034页·Zbl 1351.62107号 [11] Y.Chen、J.Fan、C.Ma和Y.Yan,《噪声矩阵完成的推断和不确定性量化》,Proc。国家。阿卡德。科学。美国,116(2019),第22931-22937页·兹比尔1431.90117 [12] E.C.Chi和T.Li,从计算统计学角度看矩阵完成,Wiley Interdiscip。修订版计算。《统计》,11(2019),e1469。 [13] Chi Y.M.Lu和Y.Chen,非凸优化满足低秩矩阵分解:概述,IEEE Trans。信号处理。,67(2019年),第5239-5269页·Zbl 07123429号 [14] M.A.Davenport和J.Romberg,从不完全观测中恢复低秩矩阵概述,IEEE J.Sel。主题信号处理。,10(2016年),第608-622页。 [15] K.R.Davidson和S.J.Szarek,局部算子理论,随机矩阵和Banach空间,《Banach空间几何手册》,第1卷,北荷兰,阿姆斯特丹,2001年,第317-366页·Zbl 1067.46008号 [16] M.Fazel、H.Hindi和S.P.Boyd,《应用于最小阶系统近似的秩最小化启发式算法》,载于Proc。阿默尔。控制会议,第6卷,IEEE,2001年,第4734-4739页。 [17] M.Fornasier、H.Rauhut和R.Ward,通过迭代加权最小二乘最小化恢复低秩矩阵,SIAM J.Optim。,21(2011),第1614-1640页,https://doi.org/10.1137/100811404。 ·Zbl 1236.65044号 [18] R.Ge、J.D.Lee和T.Ma,《矩阵完成没有伪局部极小值》,摘自《神经信息处理系统进展》,麻省理工学院出版社,马萨诸塞州剑桥,2016年,第2973-2981页。 [19] D.Gross,从任何基础上的少数系数中恢复低秩矩阵,IEEE Trans。通知。《理论》,57(2011),第1548-1566页·Zbl 1366.94103号 [20] J.P.Haldar和D.Hernando,使用功率因数分解线性矩阵方程的秩约束解,IEEE信号处理。莱特。,16(2009年),第584-587页。 [21] M.Hardt,《理解矩阵补全的交替最小化》,载于2014年IEEE第55届计算机科学基础年度研讨会论文集,IEEE,2014年,第651-660页。 [22] K.Hayami,奇异系统上共轭梯度法的收敛性,预印本,https://arxiv.org/abs/1809.00793, 2018. [23] J.Hyeong Hong和A.Fitzgibbon,矩阵分解的秘密:近似、数值、流形优化和随机重启,《IEEE计算机视觉国际会议论文集》,IEEE,2015年,第4130-4138页。 [24] P.Jain和P.Netrapali,有限样本的快速精确矩阵补全,《第28届学习理论会议论文集》,2015年,第1007-1034页。 [25] P.Jain、P.Netrapalli和S.Sanghavi,使用交替最小化完成低秩矩阵,载于《第四十五届ACM计算理论研讨会论文集》,ACM,2013年,第665-674页·Zbl 1293.65073号 [26] S.Ji和J.Ye,《迹范数最小化的加速梯度法》,载《第26届机器学习国际年会论文集》,ACM,2009年,第457-464页。 [27] R.H.Keshavan、A.Montanari和S.Oh,《几个条目的矩阵补全》,IEEE Trans。通知。《理论》,56(2010),第2980-2998页·Zbl 1366.62111号 [28] C.Kuömmerle和J.Sigl,Harmonic mean迭代加权最小二乘法用于低秩矩阵恢复,J.Mach。学习。决议,19(2018),47·Zbl 1512.62057号 [29] A.Kyrillidis和V.Cevher,硬阈值方法的矩阵食谱,数学杂志。《成像视觉》,48(2014),第235-265页·Zbl 1311.90141号 [30] S.Ma、D.Goldfarb和L.Chen,矩阵秩最小化的不动点和Bregman迭代方法,数学。程序。,128(2011),第321-353页·Zbl 1221.65146号 [31] G.Marjanovic和V.Solo,《On(\ell_q)optimization and matrix completion》,IEEE Trans。信号处理。,60(2012),第5714-5724页·Zbl 1393.94353号 [32] R.Mazumder、T.Hastie和R.Tibshirani,学习大型不完备矩阵的谱正则化算法,J.Mach。学习。第11号决议(2010年),第2287-2322页·兹比尔1242.68237 [33] B.Mishra、G.Meyer、S.Bonnabel和R.Sepulchre,固定秩矩阵分解和黎曼低秩优化,计算。统计人员。,29(2014),第591-621页·Zbl 1306.65107号 [34] B.Mishra和R.Sepulchre,R3MC:低秩矩阵完备的黎曼三因子算法,载于《第53届IEEE决策与控制会议论文集》,IEEE,2014,第1137-1142页。 [35] T.Ngo和Y.Saad,用于矩阵完成的格拉斯曼流形上的标度梯度,《神经信息处理系统进展》,麻省理工学院出版社,马萨诸塞州剑桥,2012年,第1412-1420页。 [36] T.Okatani和K.Deguchi,《关于缺失分量下矩阵因式分解的Wiberg算法》,国际计算杂志。视觉。,72(2007年),第329-337页·Zbl 1477.68404号 [37] T.Okatani、T.Yoshida和K.Deguchi,《含缺失分量的低阶矩阵分解的高效算法和最新算法的性能比较》,《国际计算机视觉会议论文集》,IEEE,2011年,第842-849页。 [38] C.C.Paige和M.A.Saunders,LSQR:稀疏线性方程组和稀疏最小二乘的算法,ACM Trans。数学。软件(TOMS),8(1982),第43-71页·Zbl 0478.65016号 [39] D.L.Pimentel-Alarcoín、n.Boston和R.D.Nowak,《低秩矩阵完备性确定性抽样模式的表征》,J.Sel。主题信号处理。,10(2016年),第623-636页。 [40] B.Recht,《矩阵完成的一种简单方法》,J.Mach。学习。Res.,12(2011),第3413-3430页·兹比尔1280.68141 [41] B.Recht和C.Reö,大规模矩阵补全的并行随机梯度算法,数学。程序。计算。,5(2013年),第201-226页·Zbl 1275.90039号 [42] J.D.Rennie和N.Srebro,协作预测的快速最大边际矩阵分解,第22届机器学习国际会议论文集,ACM,2005年,第713-719页。 [43] A.Singer和M.Cucuringu,通过刚性理论完成低秩矩阵的唯一性,SIAM J.矩阵分析。申请。,31(2010),第1621-1641页,https://doi.org/10.1137/090750688。 ·Zbl 1221.15038号 [44] R.Sun和Z.-Q.Luo,通过非凸因子分解保证矩阵完成,IEEE Trans。通知。《理论》,62(2016),第6535-6579页·兹比尔1359.94179 [45] J.Tanner和K.Wei,矩阵完成的标准化迭代硬阈值,SIAM J.Sci。计算。,35(2013),第S104-S125页,https://doi.org/10.1137/120876459。 ·Zbl 1282.65043号 [46] J.Tanner和K.Wei,用交替最速下降法完成低秩矩阵,应用。计算。哈蒙。分析。,40(2016年),第417-429页·Zbl 1336.65047号 [47] K.-C.Toh和S.Yun,核范数正则化线性最小二乘问题的加速近似梯度算法,Pac。J.优化。,6(2010),第615-640页·Zbl 1205.90218号 [48] B.Vandereycken,通过黎曼优化完成低秩矩阵,SIAM J.Optim。,23(2013),第1214-1236页,https://doi.org/10.1137/10845768。 ·Zbl 1277.15021号 [49] K.Wei、J.-F.Cai、T.F.Chan和S.Leung,低秩矩阵恢复的黎曼优化保证,SIAM J.matrix Anal。申请。,37(2016),第1198-1222页,https://doi.org/10.1137/15M1050525。 ·Zbl 1347.65109号 [50] Z.Wen、W.Yin和Y.Zhang,用非线性连续过松弛算法求解矩阵补全的低阶因式分解模型,数学。程序。计算。,4(2012年),第333-361页·Zbl 1271.65083号 [51] T.Wiberg,《数据缺失时主成分的计算》,载于《第二届计算统计学研讨会论文集》,维也纳,1976年,第229-236页·Zbl 0385.62038号 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。