×
董淑玉;Absil，P.-A.公司。;加里万，K.A。

图形正则矩阵补全的黎曼梯度下降法。 （英语） Zbl 1469.90168号

线性代数应用。 623, 193-235 (2021).
小结：低秩矩阵补全是指利用真矩阵允许良好的低秩近似的假设来恢复数据矩阵中缺失项的问题。最近，人们非常重视利用列/行实体之间的相关性来提高矩阵完成质量。本文提出了用基于拉普拉斯图的正则化子求解低秩矩阵完备问题的预处理梯度下降算法。对合成数据的实验表明，与现有的基于交替最小化的方法相比，我们的方法实现了显著的加速。对真实世界数据的实验结果也表明，我们的方法在与最先进的方法相当或更短的时间内提供了类似质量的低秩解。

MSC公司：

90 C90 数学规划的应用
53对21 局部黎曼几何方法
15A83号 矩阵完成问题

关键词：

矩阵完成;图形信息;黎曼优化;低阶优化

软件：

马诺普特;电影镜头;softImpute软件;GSPBOX公司
PDF格式BibTeX公司 XML格式引用
\textit{S.Dong}等人，线性代数应用。623193-235（2021年；Zbl 1469.90168）
全文： 内政部

参考文献：

[1] 贝尔金，M。；马特维娃，I。；Niyogi，P.，Tikhonov正则化和大图上的半监督学习，2004年IEEE声学、语音和信号处理国际会议，第3卷（2004），IEEE，iii-1000·Zbl 1078.68685号
[2] 贝尔金，M。；Niyogi，P.，用于降维和数据表示的拉普拉斯特征映射，神经计算。，15, 6, 1373-1396 (2003) ·Zbl 1085.68119号
[3] Boumal，N。；Absil，P.A。；Cartis，C.，流形上非凸优化的全局收敛速度，IMA J.Numer。分析。，39, 1, 1-33 (2019) ·Zbl 1483.65092号
[4] Boumal，N。；米什拉，B。；Absil，P.-A.公司。；Sepulchre，R.，Manopt，用于流形优化的Matlab工具箱，J.Mach。学习。第15号决议，1455-1459（2014年）·Zbl 1319.90003号
[5] 坎迪斯，E。；Recht，B.，通过凸优化实现精确低阶矩阵补全，（2008年第46届Allerton通信、控制和计算年会（2008）），1-49
[6] 坎迪斯，E.J。；Recht，B.，通过凸优化实现精确矩阵补全，Found。计算。数学。，9, 6, 717-772 (2009) ·Zbl 1219.90124号
[7] 坎迪斯，E.J。；Tao，T.，凸松弛的威力：近最优矩阵完成，IEEE Trans。《信息论》，56，5，2053-2080（2010）·Zbl 1366.15021号
[8] Chandrasekaran，V.公司。；Recht，B。；帕里罗，P.A。；Willsky，A.S.，线性反问题的凸几何，发现。计算。数学。，12, 6, 805-849 (2012) ·Zbl 1280.52008年
[9] Chazelle，B.，固定半径邻居问题的改进算法，Inf.Process。莱特。，16, 4, 193-198 (1983)
[10] 陈，J。；方浩仁；Saad，Y.，通过递归lanczos平分法构建高维数据的快速近似kNN图，J.Mach。学习。决议，10（2009年）·Zbl 1235.68137号
[11] Chung，F.R.K.，谱图理论（1997），美国数学学会·Zbl 0867.05046号
[12] 科伊夫曼，R.R。；拉丰，S。；Lee，A.B。；Maggioni，M。；纳德勒，B。；华纳，F。；Zucker，S.W.，《几何扩散作为调和分析和数据结构定义的工具：扩散图》，Proc。国家。阿卡德。科学。，102, 21, 7426-7431 (2005) ·Zbl 1405.42043号
[13] 科伊夫曼，R.R。；Maggioni，M.，扩散小波，应用。计算。哈蒙。分析。，21, 1, 53-94 (2006) ·邮编1095.94007
[14] Dong，S。；Absil，P.-A.公司。；Gallivan，K.A.，用于图形正则化矩阵完成的预处理共轭梯度算法，（欧洲人工神经网络研讨会（ESANN）（2019）），239-244
[15] 弗莱彻，R。；Reeves，C.M.，共轭梯度函数最小化，计算。J.，7，2，149-154（1964）·Zbl 0132.11701号
[16] Ge，R。；Jin，C。；Zheng，Y.，非凸低阶问题中无伪局部极小值：统一几何分析，（第34届机器学习国际会议，ICML 2017，第3卷（2017）），1990-2028
[17] 海格，W.W。；Zhang，H.，非线性共轭梯度法综述，Pac。J.Optim。，2, 1, 35-58 (2006) ·Zbl 1117.90048号
[18] Hardt，M.，《理解矩阵补全的交替最小化》，（会议录-IEEE计算机科学基础年度研讨会，FOCS（2014）），651-660
[19] F.M.哈珀。；Konstan，J.A.，电影镜头数据集：历史和背景，ACM Trans。埋。英特尔。系统。（TiiS），第5、4条，第19页（2015年12月）
[20] 哈斯蒂，T。；Mazumder，R。；Lee，法学博士。；Zadeh，R.，《通过快速交替最小二乘法实现矩阵补全和低秩奇异值分解》，J.Mach。学习。研究，16，1，3367-3402（2015）·Zbl 1352.65117号
[21] 何，X。；Niyogi，P.，位置保持预测，（神经信息处理系统进展（2004）），153-160
[22] Hestenes，M.R。；Stiefel，E.，求解线性系统的共轭梯度方法，J.Res.Natl。伯尔。支架。，49, 409-436 (1952) ·兹比尔0048.09901
[23] Jain，P。；Dhillon，I.S.，《可验证归纳矩阵完成》（2013），技术报告
[24] Jain，P。；Netrapalli，P。；Sanghavi，S.，使用交替最小化完成低秩矩阵，（第45届ACM计算理论研讨会论文集-STOC’13（2013）），665·Zbl 1293.65073号
[25] 詹姆斯·G。；维滕，D。；哈斯蒂，T。；Tibshirani，R.，《统计学习导论》，第112卷（2013年），施普林格出版社·Zbl 1281.62147号
[26] 卡洛菲利斯，V。；布列松，X。；Bronstein，M。；Vandergheynst，P.，《图的矩阵补全》（NIPS2014-高维稳健性（2014））
[27] Keshavan，R.H。；Montanari，A。；哦，S.，从几个条目中完成矩阵，IEEE Trans。Inf.理论，56，62980-2998（2010）·Zbl 1366.62111号
[28] Keshavan，R.H。；哦。OptSpace，S.，用于矩阵完成的Grassman流形上的梯度下降算法（2009）
[29] 马，C。；王凯。；Chi，Y。；Chen，Y.，非凸统计估计中的隐式正则化：梯度下降线性收敛用于相位恢复和矩阵完成，（第35届国际机器学习会议，ICML 2018，第8卷（2018）），5264-5331
[30] Mairal，J。；巴赫，F。；彭斯，J。；Sapiro，G.，矩阵分解和稀疏编码的在线学习，J.Mach。学习。决议，11，19-60（2010年1月）·Zbl 1242.62087号
[31] Mazumder，R。；哈斯蒂，T。；Edu，H。；Tibshirani，R。；Edu，T。；Jaakkola，T.，学习大型不完备矩阵的谱正则化算法，J.Mach。学习。第11号决议，2287-2322（2010年）·Zbl 1242.68237号
[32] 梅耶，G。；Bonnabel，S。；Sepulchre，R.，固定秩约束下的线性回归：黎曼方法（第28届机器学习国际会议论文集（2011））
[33] 米什拉，B。；Apuroop，K.A。；Sepulchre，R.，《低秩矩阵补全的黎曼几何》（2012），arXiv预印本
[34] 米什拉，B。；梅耶，G。；巴赫，F。；Sepulchre，R.，带跟踪范数惩罚的低库优化，SIAM J.Opt。，Soc.工业应用。数学。，23, 4, 2124-2149 (2013) ·Zbl 1286.65078号
[35] 米什拉，B。；梅耶，G。；Bonnabel，S。；Sepulchre，R.，固定秩矩阵分解和黎曼低秩优化，计算。统计，29，3-4，591-621（2014）·兹比尔1306.65107
[36] Nesterov，Y.，《凸优化导论》，第87卷（2004年），施普林格出版公司·Zbl 1086.90045号
[37] Ngo，T。；Saad，Y.，用于矩阵完成的格拉斯曼流形上的比例梯度，（神经信息处理系统进展（2012）），1412-1420
[38] Nguyen，L.T。；Kim，J。；Shim，B.，《低秩矩阵完成：当代调查》，IEEE Access，794215-94237（2019年7月）
[39] Olshausen，B.A。；Field，D.J.，《基集过完备的稀疏编码：V1？采用的策略》？，视觉。第37、23、3311-3325号决议（1997年）
[40] N.Perraudin，J.Paratte，D.Shuman，L.Martin，v.Kalofolias，P.Vandergheynst，D.K.Hammond，GSPBOX:图形信号处理工具箱。ArXiv电子版，2014年8月。
[41] Polak，E。；Ribiere，G.，《关于共轭方向方法收敛性的注》，Rev.Fran。Inf.Rech.公司。操作。，35-43 (1969) ·Zbl 0174.48001号
[42] Rao，N。；俞海峰。；拉维库马尔，P。；Dhillon，I.S.，《图形信息协同过滤：一致性和可扩展方法》，（神经信息处理系统进展28（2015）），2107-2115
[43] Recht，B。；法泽尔，M。；Parrilo，P.A.，通过核范数最小化保证线性矩阵方程的最小秩解，SIAM Rev.，52，3，471-501（2010）·Zbl 1198.90321号
[44] 雷尼·J·D·M。；Srebro，N.，协同预测的快速最大边际矩阵分解，（第22届机器学习国际会议论文集-ICML’05（2005），ACM出版社：美国纽约ACM出版社），713-719
[45] Shuman，D.I。；Narang，S.K。；弗洛萨德，P。；奥尔特加，A。；Vandergheynst，P.，新兴的图形信号处理领域，IEEE信号处理。Mag.，30，3，83-98（2013）
[46] Shuman，D.I。；里卡德，B。；Vandergheynst，P.，图的顶点频率分析，应用。计算。哈蒙。分析。，40、2、260-291（2016年3月）·Zbl 1403.94031号
[47] Spielman，D.，谱图理论。组合科学计算（2012），查普曼和霍尔/CRC出版社
[48] 斯雷布罗，N。；Rennie，J.D。；Jaakkola，T.S.，最大边际矩阵因式分解，高级神经信息处理。系统。，17, 1329-1336 (2005)
[49] Sun，R。；Luo，Z.Q.，通过非凸因子分解保证矩阵完备，IEEE Trans。Inf.理论，62，11，6535-6579（2016）·Zbl 1359.94179号
[50] Uschmajew，A。；Vandereycken，B.，低秩矩阵和张量流形上的几何方法，（Grohs，P.；Holler，M.；Weinmann，A.，非线性几何数据和应用的变分方法（2020），Springer）·Zbl 1512.65078号
[51] Vandereycken，B.，通过黎曼优化完成低秩矩阵，SIAM J.Optim。，23, 2, 1214-1236 (2013) ·Zbl 1277.15021号
[52] 王玉霞。；Zhang，Y.-J.，非负矩阵分解：综合评述，IEEE Trans。知识。数据工程，25，6，1336-1353（2012）
[53] Xu，M。；金·R。；Zhou，Z.-H.，带边信息的Speedup矩阵补全：在多标记学习中的应用，（神经信息处理系统进展（2013）），2301-2309
[54] Xu，Y。；Yin，W.，正则化多凸优化的块坐标下降法及其在非负张量分解和完成中的应用，SIAM J.成像科学。，6, 3, 1758-1789 (2013) ·Zbl 1280.49042号
[55] 俞海峰。；Rao，N。；Dhillon，I.S.，用于高维时间序列预测的时间正则化矩阵分解，（神经信息处理系统进展29（2016）），847-855
[56] 张，F。；Hancock，E.R.，使用热核进行图形光谱图像平滑，模式识别。，41, 11, 3328-3342 (2008) ·Zbl 1154.68507号
[57] 张，X。；杜，S。；Gu，Q.，通过多阶段procutes流快速和样本高效完成归纳矩阵，（Dy，J.；Krause，A.，《第35届机器学习国际会议论文集》，第35届国际机器学习会议论文集，《机器学习研究论文集》第80卷（2018），Stockholmsmässan：瑞典斯德哥尔摩Stockhollmsmássan），5756-5765，PMLR
[58] 赵，Z。；张，L。；何，X。；Ng，W.，通过图正则矩阵补全进行问题解答的专家发现，IEEE Trans。知识。数据工程，27，4，993-1004（2015年4月）
[59] 周，G。；黄，W。；加里凡，K.A。；Van Dooren，P。；Absil，P.A.，用于低阶优化的黎曼等级自适应方法，神经计算，192，72-80（2016年6月）
[60] 周，T。；Shan，H。；Banerjee，A。；Sapiro，G.，《核概率矩阵分解：利用图和边信息》，（2012年SIAM国际数据挖掘会议论文集（2012），SIAM），403-414
此参考列表基于出版商或数字数学图书馆提供的信息。它的项目与zbMATH标识符启发式匹配，并且可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。