巴姆德夫·米什拉;梅耶，吉尔;席尔瓦·邦纳贝尔;鲁道夫·塞普尔赫里 固定秩矩阵分解与黎曼低秩优化。 （英语） Zbl 1306.65107号 计算。斯达。 29，编号3-4，591-621（2014）. 摘要：出于学习参数为大的定秩非对称矩阵的线性回归模型的问题，我们考虑了定义在定秩矩阵集上的光滑代价函数的优化问题。我们采用黎曼商流形优化的几何框架。我们研究了几种著名的固定秩矩阵分解的基本几何，然后在设计一类梯度下降和信赖域算法时利用搜索空间的黎曼商几何。所提出的算法推广了我们以前关于固定秩对称半正定矩阵的结果，适用于广泛的应用，适用于高维问题，并为最近在固定秩非对称矩阵学习方面的贡献提供了几何基础。我们在低秩矩阵补全的背景下联系现有算法，并讨论了所提出框架的有用性。数值实验表明，所提出的算法与最先进的算法竞争，流形优化为设计学习固定秩矩阵的机器学习算法提供了一个有效且通用的框架。 引用于25文件 MSC公司： 62-08 统计问题的计算方法 15A83号 矩阵完成问题 65千5 数值数学规划方法 65平方英尺 超定系统伪逆的数值解 68T05型 人工智能中的学习和自适应系统 关键词：黎曼商几何;黎曼信托地区;最陡下降;低秩矩阵补全;线性回归 软件：LMa拟合;softImpute软件;发电机;ADMiRA公司;RTRMC公司;算法432;马诺普特;螺旋桨 PDF格式BibTeX公司 XML格式引用 \textit{B.Mishra}等人，计算。Stat.29，No.3--4，591--621（2014；Zbl 1306.65107） 全文： 内政部 arXiv公司 参考文献： [1] Abernethy J，Bach F，Evgeniou T，Vert JP（2009）协作滤波的新方法：带谱正则化的算子估计。J Mach学习研究10:803-826·Zbl 1235.68122号 [2] Absil PA，Amodei L，Meyer G（2012）赋予黎曼商几何的定秩矩阵流形上的两个牛顿方法。技术代表UCL-INMA-2012.05，U.C.Louvain·Zbl 1306.65015号 [3] Absil PA，Mahony R，Sepulchre R（2008）矩阵流形上的优化算法。普林斯顿大学出版社·兹比尔1147.65043 [4] Amit Y，Fink M，Srebro N，Ullman S（2007）《揭示多类分类中的共享结构》。附：Ghahramani Z（ed）《第24届机器学习国际会议论文集》，第17-24页 [5] Baker CG，Absil PA，Gallivan KA（2007）GenRTR：通用黎曼信托-地区包。http://www.math.fsu.edu/cbaker/genrtr/ [6] Bartels RH，Stewart GW（1972）矩阵方程的解\[\text｛ax｝+\text｛xb｝=\text｛c｝\]ax+xb=c[f4]（算法432）。通用ACM 15:820-826·Zbl 1372.65121号 ·数字对象标识代码：10.1145/361573.361582 [7] Bhatia R（2007）正定矩阵。普林斯顿大学出版社·Zbl 1125.15300号 [8] Bleakley K，Yamanishi Y（2009）使用二部分局部模型对药物-靶点相互作用进行监督预测。生物信息学25:2397-2403·doi:10.1093/bioinformatics/btp433 [9] Bonnabel S，Sepulchre R（2009）固定秩半正定矩阵的黎曼度量和几何平均。SIAM J矩阵分析应用31:1055-1070·Zbl 1220.47025号 ·doi:10.1137/080731347 [10] Boumal N，Absil PA（2011）RTRMC：低秩矩阵补全的黎曼信任域方法。收件人：Shawe-Taylor J、Zemel R、Bartlett P、Pereira F、Weinberger K（编辑）神经信息处理系统会议，NIPS，第406-414页·Zbl 1271.65083号 [11] Boumal N，Absil PA（2012），通过格拉斯曼流形上的信任区域完成低秩矩阵。技术代表，UCL-INMA-2012.07·兹比尔1312.90092 [12] Boumal N，Mishra B，Absil PA，Sepulchre R（2013），Manopt:用于歧管优化的Matlab工具箱。arXiv，预打印arXiv:13085200[csMS]·Zbl 1319.90003号 [13] Brand M（2006）薄奇异值分解的快速低阶修改。线性代数应用415:20-30·Zbl 1088.65037号 ·doi:10.1016/j.laa.2005.07.021 [14] Cai JF，Candès EJ，Shen Z（2010）矩阵补全的奇异值阈值算法。《SIAM J Optim》20:1956-1982·Zbl 1201.90155号 ·doi:10.1137/080738970 [15] Cai D，He X，Han J（2007）通过谱回归的有效核判别分析。摘自：IEEE数据挖掘国际会议记录，ICDM，第427-432页·Zbl 1201.90155号 [16] Candès EJ，Recht B（2008）通过凸优化实现精确矩阵补全。找到计算数学9:717-772·Zbl 1219.90124号 ·doi:10.1007/s10208-009-9045-5 [17] Dai W，Milenkovic O，Kerman E（2011）低秩矩阵完成的子空间演化和转移（SET）。IEEE传输信号处理59:3120-3132·Zbl 1392.94167号 ·doi:10.1109/TSP.2011.2144977 [18] Dai W，Kerman E，Milenkovic O（2012）低秩矩阵补全的几何方法。IEEE Trans-Inf理论58:237-247·Zbl 1365.15037号 ·doi:10.10109/TIT.2011.2171521 [19] Edelman A，Arias T，Smith S（1998）具有正交约束的算法几何。SIAM J矩阵分析应用20:303-353·Zbl 0928.6500号 ·doi:10.1137/S089547989529290954 [20] Evgeniou T，Michelli C，Pontil M（2005）使用内核方法学习多任务。J Mach学习研究6:615-637·Zbl 1222.68197号 [21] Golub GH，Van Loan CF（1996）《矩阵计算》，第3版。约翰·霍普金斯大学出版社，马里兰州巴尔的摩北查尔斯街2715号，邮编：21218-4319·Zbl 1242.62069号 [22] Gross D（2011）在任何基础上从少数系数中恢复低秩矩阵。IEEE Trans-Inf理论57:1548-1566·Zbl 1366.94103号 ·doi:10.1109/TIT.2011.2104999 [23] Jain P，Meka R，Dhillon I（2010）通过奇异值投影保证秩最小化。收录：Lafferty J、Williams CKI、Shawe-Taylor J、Zemel R、Culotta A（编辑）《神经信息处理系统进展》。NIPS 23，第937-945页·Zbl 1366.94103号 [24] Jeffrey DJ（2010）不可逆矩阵的LU分解。ACM公共计算代数44:1-8·Zbl 1322.68284号 [25] Journée M（2009）用于成分分析的几何算法，以期进行基因表达数据分析。比利时列日列日大学博士论文·JFM 28.0677.02号 [26] Keshavan RH，Montanari A，Oh S（2010），《从嘈杂的条目中完成矩阵》。J Mach学习研究11:2057-2078·Zbl 1242.62069号 [27] Kulis B、Sustik M、Dhillon IS（2009）《Bregman矩阵发散的低秩核学习》。J Mach学习研究10:341-376·Zbl 1235.68166号 [28] Kulis B，Saenko K，Darrell T（2011）你看到的并不是你得到的：使用非对称内核转换的域自适应。摘自：IEEE计算机视觉和模式识别会议记录，CVPR，第1785-1792页·Zbl 1392.94167号 [29] Larsen R（1998）Lanczos双对角化与部分再结晶。奥胡斯大学计算机科学系DAIMI PB-357技术报告·Zbl 1219.90124号 [30] Lee JM（2003）《光滑流形导论》，数学研究生教材，第218卷，第2版。纽约州施普林格·doi:10.1007/978-0-387-21752-9 [31] Lee K，Bresler Y（2010）《海军上将：最小秩近似的原子分解》。IEEE跨信息理论56:4402-4416·Zbl 1366.94112号 ·doi:10.1109/TIT.2010.2054251 [32] Mazumder R，Hastie T，Tibshirani R（2010）学习大型不完备矩阵的谱正则化算法。J Mach学习研究11:2287-2322·Zbl 1242.68237号 [33] Meka R，Jain P，Dhillon IS（2009）幂律分布样本的矩阵完成。收录：Bengio Y、Schuurmans D、Lafferty J、Williams CKI、Culotta A（编辑）《神经信息处理系统进展》22，NIPS，pp 1258-1266·Zbl 1222.68197号 [34] Meyer G（2011）固定秩矩阵线性回归的几何优化算法。比利时列日列日大学博士论文 [35] Meyer G，Bonnabel S，Sepulchre R（2011b）固定秩半正定矩阵的回归：黎曼方法。J Mach学习研究11:593-625·Zbl 1280.68185号 [36] Meyer G，Bonnabel S，Sepulchre R（2011a）固定秩约束下的线性回归：黎曼方法。摘自：第28届机器学习国际会议记录，ICML，第545-552页·Zbl 1280.68185号 [37] Mishra B，Adithya Apuroop K，Sepulchre R（2012）低秩矩阵补全的黎曼几何。技术代表，arXiv:1211.1550·兹比尔1147.65043 [38] Mishra B，Meyer G，Bach F，Sepulchre R（2011a）带迹范数惩罚的低秩优化。技术代表，arXiv:1112.2318·Zbl 1286.65078号 [39] Mishra B，Meyer G，Sepulchre R（2011年B），距离矩阵完成的低秩优化。摘自：第50届IEEE决策与控制会议记录，奥兰多（美国），第4455-4460页 [40] Netflix（2006）Netflix奖。http://www.netflixprize.com/ [41] Ngo TT，Saad Y（2012），用于矩阵完成的格拉斯曼流形上的比例梯度。In：神经信息处理系统进展，NIPS，pp 1421-1429 [42] Nocedal J，Wright SJ（2006）《数值优化》，第2版。纽约州施普林格·Zbl 1104.65059号 [43] Piziak R，Odell PL（1999）矩阵的满秩因式分解。数学杂志72:193-201·Zbl 1006.15009号 ·doi:10.2307/2690882 [44] Rennie J，Srebro N（2005），协作预测的快速最大边际矩阵分解。摘自：第22届机器学习国际会议论文集，第713-719页 [45] Shalit U，Weinshall D，Chechik G（2010）低秩矩阵流形中的在线学习。收录：Lafferty J、Williams CKI、Shawe-Taylor J、Zemel R、Culotta A（eds）《神经信息处理系统进展》23，第2128-2136页·Zbl 1283.68302号 [46] Simonsson L，Eldén L（2010）具有缺失值的矩阵低秩近似的Grassmann算法。比特数字数学50:173-191·兹比尔1186.65050 ·doi:10.1007/s10543-010-0253-9 [47] Vandereycken B（2013）通过黎曼优化完成低秩矩阵。《SIAM J Optim》23:1214-1236·Zbl 1277.15021号 ·doi:10.1137/110845768 [48] Wen Z，Yin W，Zhang Y（2012）用非线性连续过松弛算法求解矩阵补全的低阶因式分解模型。数学程序计算4:333-361·Zbl 1271.65083号 ·doi:10.1007/s12532-012-0044-1 [49] Yamanishi Y、Araki M、Gutteridge A、Honda W、Kanehisa M（2008）《从化学和基因组空间的整合预测药物靶点相互作用网络》。生物信息学24:i232·doi:10.1093/bioinformatics/btn162 [50] 袁M，Ekici A，Lu Z，Monteiro R（2007）多元线性回归中的降维和系数估计。J R Stat Soc期刊69:329-346·Zbl 07555355号 ·文件编号：10.1111/j.1467-9868.2007.00591.x 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。