×
拉胡尔·马祖姆德;迪亚戈·索尔达纳;翁浩雷

带非凸正则化的矩阵补全：谱算子和可伸缩算法。 （英语） Zbl 1448.62135号

统计计算。 第4期第30期，第1113-1138页（2020年）.
摘要：在本文中，我们研究了一个被广泛称为矩阵完成问题，其中的任务是在假设基础矩阵是低秩的情况下，从一小部分观察到的条目中“填充”矩阵的未观察条目。我们在此的贡献增强了我们之前在矩阵完成核规范正则化问题上的工作[第一作者等，J.Mach.Learn.Res.11，2287–2322（2010；Zbl 1242.68237号)]通过在凸核范数和非凸秩函数之间加入一个非凸惩罚函数的连续体。受Soft-Impute的启发，我们提出了NC-Impute-一种基于EM的算法框架，用于计算一类具有温启动的非凸惩罚矩阵完成问题。我们对相关的谱阈值算子进行了系统研究，这些算子在整个算法中起着重要作用。我们研究了算法的收敛性。使用结构化低秩SVD计算，我们证明了我们的建议对于Netflix大小的问题的计算可扩展性（大约是一个包含观察到的条目的矩阵（500000乘以20000））。我们证明，在广泛的合成数据和实际数据实例上，我们提出的非凸正则化框架可以得到低阶解，与从核范数问题中获得的解相比，具有更好的预测性能。本文中提出的用R语言编写的算法的实现可在github上获得。

引用于1文件

MSC公司：

62M15型 随机过程和谱分析的推断
62甲12 多元分析中的估计
62D10号 缺少数据
90C25型 凸面编程
15A83号 矩阵完成问题

关键词：

矩阵完成;劣等的;谱非凸惩罚;MC+罚款;优化;自由度

引文：

Zbl 1242.68237号

软件：

PROPACK公司;R（右）;softImpute软件;L0学习;稀疏的;github;ElemStatLearn（电子状态学习）;插补
PDF格式BibTeX公司 XML格式引用
\textit{R.Mazumder}等人，《统计计算》。30，第4号，1113--1138（2020；Zbl 1448.62135）
全文： 内政部 arXiv公司

参考文献：

[1] Alquier，P.，《噪声矩阵补全的贝叶斯方法：一般抽样分布下的最佳速率》，电子。J.Stat.，9，1，823-841（2015）·Zbl 1317.62050号
[2] Bai，Z。；Silverstein，JW，《大维随机矩阵的谱分析》（2010），柏林：施普林格出版社，柏林·Zbl 1301.60002号
[3] Bertsimas博士。；金·A。；Mazumder，R.，《通过现代优化透镜选择最佳子集》，《Ann.Stat.》，44，2813-852（2016）·Zbl 1335.62115号
[4] Bhojanapalli，S.，Neyshabur，B.，Srebro，N.：低秩矩阵恢复局部搜索的全局优化。摘自：《第30届神经信息处理系统国际会议论文集》，第3873-3881页（2016）
[5] Borwein，J。；Lewis，A.，凸分析和非线性优化（2006），纽约：Springer，纽约·Zbl 1116.90001号
[6] 蔡，JF；坎迪斯，EJ；Shen，Z.，矩阵补全的奇异值阈值算法，SIAM J.Optim。，20, 1956-1982 (2010) ·Zbl 1201.90155号
[7] 加内斯，EJ；Recht，B.，通过凸优化实现精确矩阵补全，Found。计算。数学。，9, 717-772 (2009) ·Zbl 1219.90124号
[8] 坎迪斯，EJ；Plan，Y.，Matrix completion with noise，程序。IEEE，98925-936（2010）
[9] 坎迪斯，EJ；Tao，T.，凸松弛的威力：近最优矩阵完成，IEEE Trans。《信息论》，56，2053-2080（2010）·Zbl 1366.15021号
[10] 坎迪斯，EJ；Wakin，MB；Boyd，SP，通过重加权最小化增强稀疏性，J.Fourier Ana。申请。，14, 5-6, 877-905 (2008) ·Zbl 1176.94014号
[11] 坎迪斯，E。；Sing-Long，C。；Trzasko，JD，奇异值阈值和谱估计的无偏风险估计，IEEE Trans。信号处理。，61, 19, 4643-4657 (2013) ·兹比尔1393.94187
[12] Chen，Y.、Bhojanapalli，S.、Sanghavi，S.和Ward，R.：相干矩阵完成。摘自：《第31届机器学习国际会议论文集》，JMLR，第674-682页（2014）
[13] Chen，Y.，非相干优化矩阵补全，IEEE Trans。《信息论》，61，5，2909-2923（2015）·Zbl 1359.15022号
[14] Chen，Y.，Wainwright，M.J.：通过预测梯度下降进行快速低阶估计：一般统计和算法保证（2015年）。arXiv预打印arXiv:1509.03025
[15] Chen，J.，Liu，D.，Li，X.：无正则化的梯度下降非凸矩形矩阵完备化（2019a）。arXiv预打印arXiv:1901.06116
[16] Chen，Y.、Chi，Y.，Fan，J.、Ma，C.、Yan，Y:噪声矩阵完成：通过非凸优化了解凸松弛的统计保证（2019b）。arXiv预印本arXiv:1902.07698
[17] Chi，Y。；Lu，YM；Chen，Y.，非凸优化满足低秩矩阵分解：概述，IEEE Trans。信号处理。，67, 20, 5239-5269 (2019) ·Zbl 07123429号
[18] Chistov，A.L.，Grigor’ev，D.Y.：代数闭域理论中量词消除的复杂性。摘自：第十一届计算机科学数学基础国际研讨会论文集，第17-31页。斯普林格（1984）·Zbl 0562.03015号
[19] Daubechies，I。；DeVore，R。；Fornasier，M。；Güntürk，CS，稀疏恢复的迭代重加权最小二乘最小化，Commun。纯应用程序。数学。J.颁发的Courant Inst.Math。科学。，63, 1, 1-38 (2010) ·Zbl 1202.65046号
[20] 美联社登普斯特；新墨西哥州莱尔德；DB Rubin，《通过em算法从不完整数据中获得最大似然》，J.R.Stat.Soc.B，39，1-38（1977）·Zbl 0364.62022号
[21] 埃夫隆，B。；哈斯蒂，T。；约翰斯通，I。；Tibshirani，R.，《最小角回归》（含讨论），《Ann.Stat.》，第32、2、407-499页（2004年）·Zbl 1091.62054号
[22] 范，J。；Li，R.，《通过非一致惩罚似然进行变量选择及其预言属性》，美国统计协会，96，1348-1360（2001）·Zbl 1073.62547号
[23] Fazel，M.：矩阵秩最小化与应用。斯坦福大学博士论文（2002）
[24] Feng，L.，Zhang，C.H.：分类凹惩罚回归（2017）。arXiv预打印arXiv:1712.09941·兹比尔1435.62262
[25] Fornasier，M。；Rauhut，H。；Ward，R.，通过迭代加权最小二乘最小化恢复低秩矩阵，SIAM J.Optim。，21, 4, 1614-1640 (2011) ·Zbl 1236.65044号
[26] IE弗兰克；Friedman，JH，一些化学计量学回归工具的统计视图，技术计量学，35，109-135（1993）·兹比尔0775.62288
[27] Freund，R.M.、Grigas，P.、Mazumder，R.：具有“面对面”方向的扩展Frank Wolfe方法及其在低秩矩阵补全中的应用（2015）。arXiv电子打印arXiv:1511.02204·Zbl 1357.90115号
[28] Ge，R.，Lee，J.D.，Ma，T.：矩阵完成没有虚假的局部极小值。摘自：《第三十届神经信息处理系统国际会议论文集》，第2973-2981页（2016）
[29] Ge，R.，Jin，C.，Zheng，Y.：非凸低秩问题中无伪局部极小：统一几何分析。摘自：《第34届机器学习国际会议记录》，第70卷，JMLR。org，第1233-1242页（2017）
[30] Golub，G。；Van Loan，C.，《矩阵计算》（1983），巴尔的摩：约翰霍普金斯大学出版社，巴尔的摩尔·Zbl 0559.65011号
[31] Gross，D.，从任何基础上的少数系数中恢复低秩矩阵，IEEE Trans。Inf.理论，57，3，1548-1566（2011）·兹比尔1366.94103
[32] 顾S。；谢奇。；孟，D。；左，W。；X·冯。；Zhang，L.，加权核范数最小化及其在低水平视觉中的应用，国际计算机杂志。视觉。，121, 2, 183-208 (2017) ·Zbl 1458.68231号
[33] Hardt，M.：了解矩阵补全的交替最小化。摘自：IEEE第55届计算机科学基础年会，第651-660页。IEEE（2014）
[34] Hardt，M.，Wootters，M.：无条件数的快速矩阵完成。摘自：学习理论会议，第638-678页（2014年）
[35] 哈斯蒂，T。；Tibshirani，R。；Friedman，J.，《统计学习的要素：预测、推理和数据挖掘》（2009年），纽约：施普林格，纽约·Zbl 1273.62005年
[36] 哈斯蒂，T。；Mazumder，R。；Lee，JD；Zadeh，R.，《通过快速交替最小二乘法实现矩阵补全和低秩奇异值分解》，J.Mach。学习。决议，16，1，3367-3402（2016）·兹比尔1352.65117
[37] Hazimeh，H.，Mazumder，R.：快速最佳子集选择：坐标下降和局部组合优化算法。操作。决议（2019）（已接受）
[38] 喇叭，RA；Johnson，CR，矩阵分析（2012），剑桥：剑桥大学出版社，剑桥
[39] Jaggi，M.，Sulovskí，M.：核范数正则化问题的简单算法。摘自：第27届国际机器学习会议记录（ICML-10），第471-478页（2010年）
[40] Jain，P.，Meka，R.，Dhillon，I.S.：通过奇异值投影保证秩最小化。摘自：《神经信息处理系统进展》，第937-945页（2010年）
[41] Jain，P.、Netrapalli，P.和Sanghavi，S.：使用交替最小化完成低秩矩阵。摘自：第四十五届ACM计算机理论年会论文集，第665-674页。ACM（2013年）·Zbl 1293.65073号
[42] 右侧Keshavan；Montanari，A。；哦，S.，嘈杂的条目完成了矩阵，J.Mach。学习。第11号决议，2057-2078（2010年）·Zbl 1242.62069号
[43] Klopp，O.，Noisy low rank matrix completion with general sampling distribution，伯努利，20，1，282-303（2014）·Zbl 1400.62115号
[44] 科尔钦斯基，V。；Lounici，K。；Tsybakov，AB，Nuclear-norm惩罚与噪声低秩矩阵完成的最优速率，《Ann.Stat.》，39，5，2302-2329（2011）·Zbl 1231.62097号
[45] Larsen，R.：用于大型和稀疏SVD计算的Propack软件（2004）。http://sun.stanford.edu/rmunk/支持
[46] Lecué，G。；Mendelson，S.，《正则化和小球方法I：稀疏恢复》，《Ann.Stat.》，46，2，611-641（2018）·Zbl 1403.60085号
[47] 刘易斯，AS，酉不变矩阵函数的凸分析，J.f凸分析。，2, 173-183 (1995) ·Zbl 0860.15026号
[48] 卢，波兰；Wainwright，MJ，非凸正则m-估计量：局部最优的统计和算法理论，J.Mach。学习。决议，16559-616（2015）·Zbl 1360.62276号
[49] 吕杰。；Fan，Y.，《使用正则化最小二乘进行模型选择和稀疏恢复的统一方法》，《Ann.Stat.》，37，3498-3528（2009）·兹比尔1369.62156
[50] Ma，C.，Wang，K.，Chi，Y.，Chen，Y.：非凸统计估计中的隐式正则化：对于相位恢复、矩阵补全和盲反褶积，梯度下降线性收敛（2017）。arXiv预打印arXiv:1711.10467·Zbl 1445.90089
[51] Mazumder，R。；哈斯蒂，T。；Tibshirani，R.，学习大型不完备矩阵的谱正则化算法，J.Mach。学习。第11号决议，2287-2322（2010年）·Zbl 1242.68237号
[52] Mazumder，R。；JH弗里德曼；Hastie，T.，Sparsenet：协调下降与非凸处罚，《美国统计协会期刊》，106，1125-1138（2011）·Zbl 1229.62091号
[53] Mazumder，R.，Radchenko，P.：离散dantzig选择器：通过混合整数线性优化估计稀疏线性模型（2015）。arXiv预印arXiv:1508.01922·Zbl 1368.94035号
[54] Mazumder，R.，Radchenko，P.，Dedieu，A.：具有收缩的子集选择：低信噪比时的稀疏线性建模（2017）。arXiv预打印arXiv:1708.03288
[55] Mohan，K.，Fazel，M.：重加权核范数最小化及其在系统辨识中的应用。载于：《2010年美国控制会议记录》，第2953-2959页。IEEE（2010）
[56] 莫汉，K。；Fazel，M.，矩阵秩最小化的迭代重加权算法，J.Mach。学习。研究，11月13日，3441-3473（2012）·Zbl 1436.65055号
[57] 内加班，SN；MJ Wainwright，《带噪声和高维标度的（近）低秩矩阵估计》，《Ann.Stat.》，第39期，第1069-1097页（2011年）·Zbl 1216.62090号
[58] 内加班，SN；Wainwright，MJ，《受限强凸性和加权矩阵完备：带噪声的最优界》，J.Mach。学习。第13号决议，1665-1697（2012）·Zbl 1436.62204号
[59] Nikolova，M.，正则估计的局部强同质性，SIAM J.Appl。数学。，61633-658（2000年）·Zbl 0991.94015号
[60] Recht，B.，《矩阵补全的更简单方法》，J.Mach。学习。第12号决议，3413-3430（2011年）·Zbl 1280.68141号
[61] Recht，B。；法泽尔，M。；Parrilo，PA，通过核范数最小化保证线性矩阵方程的最小秩解，SIAM Rev.，52，471-501（2010）·Zbl 1198.90321号
[62] Rockafellar，RT，凸分析（1970），普林斯顿：普林斯顿大学出版社，普林斯顿·Zbl 0193.18401号
[63] 罗德，A。；Tsybakov，AB，《高维低秩矩阵的估计》，《Ann.Stat.》，39，887-930（2011）·Zbl 1215.62056号
[64] 夏皮罗，A。；谢，Y。；Zhang，R.，《确定性模式的矩阵补全：几何观点》，IEEE Trans。信号处理。，67, 4, 1088-1103 (2018) ·兹伯利1414.15034
[65] SIGKDD，A.，Netflix：潜在变量的软建模：非线性迭代偏最小二乘法（NIPALS）。收录：KDD杯和研讨会会议记录（2007年）
[66] Stein，CM，多元正态分布平均值的估计，《统计年鉴》，9，6，1135-1151（1981）·Zbl 0476.62035号
[67] GW斯图尔特；Sun，JG，矩阵摄动理论。《计算机科学与科学计算》（1990），剑桥：学术出版社，剑桥·Zbl 0706.65013号
[68] Sun，R。；Luo，ZQ，通过非凸因子分解保证矩阵完成，IEEE Trans。Inf.Theory，62，11，6535-6579（2016）·Zbl 1359.94179号
[69] Tibshirani，R.，《通过套索进行回归收缩和选择》，J.R.Stat.Soc.B，58，267-288（1996）·Zbl 0850.62538号
[70] 俄勒冈州特罗扬斯卡娅。；康托，M。；Sherlock，G。；布朗，P。；哈斯蒂，T。；Tibshirani，R。；Botstein博士。；奥尔特曼，RB，dna微阵列缺失值估计方法，生物信息学，17，6，520-525（2001）
[71] Wang，S.，Weng，H.，Maleki，A.：哪种桥式估计器最适合变量选择？Ann.Stat.（2019）（已接受）
[72] Zhang，CH，最小最大凹惩罚下的几乎无偏变量选择，《美国统计年鉴》，38，894-942（2010）·Zbl 1183.62120号
[73] 张，CH；张涛，高维稀疏估计问题凹正则化的一般理论，统计科学。，27, 4, 576-593 (2012) ·Zbl 1331.62353号
[74] Zheng，Q.，Lafferty，J.：使用Burr-Monteiro因式分解和梯度下降法对矩形矩阵补全的收敛性分析（2016）。arXiv预打印arXiv:1605.07051
[75] 郑，L。；马莱基，A。；翁，H。；王，X。；Long，T.，“（\ell_p\）-最小化是否优于（\ell_1\）-最小化？”？，IEEE传输。信息理论，63，11，6896-6935（2017）·Zbl 1390.94511号
[76] Zou，H.，《自适应套索及其预言属性》，美国统计协会，101，476，1418-1429（2006）·Zbl 1171.62326号
[77] 邹，H。；Li，R.，非冲突惩罚似然模型中的一步稀疏估计，Ann.Stat.，36，4，1509-1533（2008）·Zbl 1142.62027号
此参考列表基于出版商或数字数学图书馆提供的信息。它的项目与zbMATH标识符启发式匹配，并且可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。