×

基于Grassmann流形的预条件优化的低秩矩阵补全。 (英语) Zbl 1312.90092号

摘要:我们解决了当大多数条目未知时恢复低秩大矩阵的数值问题。我们利用低秩约束的几何特性将该问题重构为单个Grassmann流形上的无约束优化问题。然后,我们应用二阶黎曼信赖域方法(RTRMC 2)和黎曼共轭梯度方法(RCGMC)来求解该问题。引入了一个有助于控制问题条件的Hessian预条件器,并详细介绍了黎曼优化算法的预条件版本。每次迭代的成本与已知条目的数量成线性关系。在广泛的问题实例中,所提出的方法与最先进的算法具有竞争力。特别是,它们在矩形矩阵上表现良好。我们进一步注意到,二阶和预处理方法非常适合解决条件恶劣的矩阵完成任务。

MSC公司:

90 C90 数学规划的应用
53对21 局部黎曼几何方法
15A83号 矩阵完成问题
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] Absil,P.-A.公司。;贝克,C.G。;Gallivan,K.A.,黎曼流形上的信赖域方法,发现。计算。数学。,303-330年7月3日(2007年)·Zbl 1129.65045号
[2] Absil,P.-A.公司。;Mahony,R。;Sepulchre,R.,矩阵流形上的优化算法(2008),普林斯顿大学出版社:普林斯顿大学出版,新泽西州普林斯顿·Zbl 1147.65043号
[3] Absil,P.-A.公司。;阿莫迪,L。;Meyer,G.,关于赋有黎曼商几何的定秩矩阵流形的两个牛顿方法,计算。统计人员。,29, 3-4, 569-590 (2014) ·兹比尔1306.65015
[4] 巴尔扎诺,L。;诺瓦克,R。;Recht,B.,《从高度不完整信息中在线识别和跟踪子空间》,(第48届Allerton通信、控制和计算年会,第48届通信、控制与计算年会),Allerton,2010(2010),IEEE),704-711
[5] Bennett,J。;Lanning,S.,Netflix奖,(2007年KDD Cup研讨会论文集(2007年8月),ACM:ACM纽约),3-6
[6] Boothby,W.M.,《可微流形和黎曼几何导论》,《纯粹应用》。数学。,第120卷(1986),爱思唯尔·Zbl 0596.53001号
[7] Boumal,N.,流形优化与估计(2014),卢浮天主教大学:比利时卢浮天主教学院,博士论文
[8] Boumal,N。;Absil,P.-A.,RTRMC:低秩矩阵补全的黎曼信任域方法,(Shawe-Taylor,J.;Zemel,R.S.;Bartlett,P.;Pereira,F.C.N.;Weinberger,K.Q.,《神经信息处理系统进展》24。神经信息处理系统进展24,NIPS(2011),406-414
[9] Boumal,N。;米什拉,B。;Absil,P.-A.公司。;Sepulchre,R.,Manopt,用于流形优化的Matlab工具箱,J.Mach。学习。第15号决议,1455-1459(2014年)·Zbl 1319.90003号
[10] 蔡建芳(Cai,J.F.)。;坎迪斯,E.J。;Shen,Z.,矩阵补全的奇异值阈值算法,SIAM J.Optim。,20, 4, 1956-1982 (2010) ·Zbl 1201.90155号
[11] 坎迪斯,E.J。;Recht,B.,通过凸优化实现精确矩阵补全,Found。计算。数学。,9, 6, 717-772 (2009) ·Zbl 1219.90124号
[12] Chandrasekaran,V。;Sanghavi,S。;帕里罗,P.A。;Willsky,A.S.,矩阵分解的秩-部分非相干,SIAM J.Optim。,21, 2, 572-596 (2011) ·Zbl 1226.90067号
[13] Chatterjee,S.,通用奇异值阈值矩阵估计,Ann.Statist。,43, 1, 177-214 (2015) ·Zbl 1308.62038号
[14] A.R.康涅狄格州。;新墨西哥州古尔德。;Toint,P.L.,信托区域方法,MPS/SIAM Ser。最佳方案。(2000),工业和应用数学学会·兹比尔0958.65071
[15] Dai,W。;Milenkovic,O。;Kerman,E.,低秩矩阵补全的子空间演化和传输(SET),IEEE Trans。信号处理。,59, 7, 3120-3132 (2011) ·兹比尔1392.94167
[16] Dai,W。;科尔曼,E。;Milenkovic,O.,低秩矩阵补全的几何方法,IEEE Trans。通知。理论,58,1237-247(2012)·Zbl 1365.15037号
[17] 吉尔伯特,J.C。;Nocedal,J.,用于优化的共轭梯度方法的全局收敛性,SIAM J.Optim。,2, 1, 21-42 (1992) ·Zbl 0767.90082号
[18] Gillis,N.,《非负矩阵因式分解的原因和方法》,(Suykens,J.A.K.;Signoretto,M.;Argyriou,A.,《正则化,优化,内核和支持向量机》,《机器学习,模式识别服务》(2014),查普曼和霍尔/CRC),257-291
[19] Gillis,N。;Glineur,F.,具有权重或缺失数据的低秩矩阵近似是NP-hard,SIAM J.matrix Anal。申请。,32, 4, 1149-1165 (2011) ·Zbl 1242.65077号
[20] 海格,W.W。;Zhang,H.,非线性共轭梯度法综述,Pac。J.优化。,2, 1, 35-58 (2006) ·Zbl 1117.90048号
[21] Hardt,M.,《理解矩阵补全的交替最小化》,(IEEE第55届计算机科学基础年会。IEEE第五十五届计算机科学理论年会,FOCS,2014(2014年10月),IEEE),651-660
[22] Kannan,R。;Ishteva,M。;Park,H.,推荐系统的有界矩阵分解,Knowl。信息系统。,39, 491-511 (2014)
[23] Keshavan,R.H。;Montanari,A.,矩阵完成的正则化,(IEEE信息理论程序国际研讨会。IEEE信息论程序国际研讨会,ISIT,2010(2010),IEEE),1503-1507
[24] Keshavan,R.H。;蒙塔纳里,A。;噢,S.,从嘈杂的条目中完成矩阵,J.Mach。学习。第99号决议,2057-2078(2010年)·Zbl 1242.62069号
[25] Lee,K。;Bresler,Y.,ADMiRA:最小秩近似的原子分解,IEEE Trans。通知。理论,56,9,4402-4416(2010)·Zbl 1366.94112号
[26] Leichtweiss,K.,Zur Riemannschen Geometrie in Grassmannschen Mannigfaltigkeiten,Math。Z.,76,334-366(1961)·Zbl 0113.37102号
[27] Mackey,L。;Talwalkar,A。;Jordan,M.I.,《分治矩阵因式分解》,(Shawe-Taylor,J.;Zemel,R.S.;Bartlett,P.;Pereira,F.C.N.;Weinberger,K.Q.,《神经信息处理系统的进展》24。神经信息处理系统进展24,NIPS(2011),1134-1142
[28] 迈耶,G。;Bonnabel,S。;Sepulchre,R.,固定秩约束下的线性回归:黎曼方法,(第28届机器学习国际会议,第28届国际机器学习会议,ICML(2011))
[29] 米什拉,B。;Sepulchre,R.,黎曼预处理(2014),预印本
[30] 米什拉,B。;迈耶,G。;Sepulchre,R.,距离矩阵完成的低秩优化,(第50届IEEE决策与控制会议和欧洲控制会议,第50届EEE决策与控制大会和欧洲控制大会,CDC-ECC,2011(2011),IEEE),4455-4460
[31] 米什拉,B。;Adithya Apuroop,K。;Sepulchre,R.,《低秩矩阵补全的黎曼几何》(2012),预印本
[32] 米什拉,B。;迈耶,G。;巴赫,F。;Sepulchre,R.,带跟踪范数惩罚的低库优化,SIAM J.Optim。,2124-2149年4月23日(2013年)·Zbl 1286.65078号
[33] Ngo,T。;Saad,Y.,矩阵完备的Grassmann流形上的标度梯度,(Pereira,F.;Burges,C.J.C.;Bottou,L.;Weinberger,K.Q.,神经信息处理系统进展25(2012)),1412-1420
[34] Nocedal,J。;Wright,S.J.,《数值优化》(1999),Springer-Verlag·兹伯利0930.65067
[35] Recht,B。;Ré,C.,大规模矩阵补全的并行随机梯度算法,数学。程序。计算。,5, 2, 201-226 (2013) ·Zbl 1275.90039号
[36] 佐藤,H。;Iwai,T.,一种新的全局收敛的黎曼共轭梯度法,《优化》,64,4,1011-1031(2015)·Zbl 1311.65072号
[37] 施耐德,R。;Uschmajew,A.,通过Łojasiewicz不等式在各种低秩矩阵上投影线性搜索方法的收敛结果,SIAM J.Optim。(2014),印刷,预印本
[38] 陶,M。;Yuan,X.,从不完全和噪声观测中恢复矩阵的低秩和稀疏分量,SIAM J.Optim。,21, 1, 57-81 (2011) ·Zbl 1218.90115号
[39] Toh,K.C。;Yun,S.,核范数正则化线性最小二乘问题的加速近似梯度算法,Pac。J.优化。,6, 15, 615-640 (2010) ·Zbl 1205.90218号
[40] Trefethen,L.N。;Bau,D.,《数值线性代数》(1997),工业和应用数学学会·Zbl 0874.65013号
[41] Vandereycken,B.,通过黎曼优化完成低秩矩阵,SIAM J.Optim。,23, 2, 1214-1236 (2013) ·Zbl 1277.15021号
[42] 温,Z。;尹,W。;Zhang,Y.,用非线性逐次过松弛算法求解矩阵补全的低阶因式分解模型,Math。程序。计算。,4, 4, 333-361 (2012) ·Zbl 1271.65083号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。