基督教徒Kümmerle;朱利安·西格尔 谐波平均迭代加权最小二乘法用于低秩矩阵恢复。 （英语） Zbl 1512.62057号 J.马赫。学习。物件。 19，第47号论文，49页（2018年）. 摘要：我们提出了一种新的迭代重加权最小二乘（IRLS）算法，用于从不完全线性观测中恢复秩为（r\ll\min（d_1，d_2））的矩阵\（X\in\mathbb｛C｝^｛d_1\times d_2｝\），解决了一系列低复杂度线性问题。易于实现的算法，我们称之为调和平均迭代加权最小二乘法(HM-IRLS公司)，优化了非凸Schatten-\（p\）拟范数惩罚以促进低秩，并具有三个主要优点，特别是对于矩阵完备设置。首先，我们观察到算法迭代到低秩矩阵的一个显著的{全局收敛行为}，用于相关的、有趣的情况，对于这些情况，任何其他最先进的优化方法都无法恢复。其次，HM-IRLS公司即使对于一些非常接近理论下限（r（d1+d2-r））的测量，也显示出接近于（1）的经验恢复概率，即与文献中任何其他可处理的方法相比，线性观测已经显著减少。第三，HM-IRLS公司如果线性观测满足适当的零空间性质，则显示局部超线性收敛速度（2-p阶）。虽然对于前两个性质，我们目前只有强有力的经验证据，但我们证明了第三个性质是我们的主要理论结果。 引用于6文件 MSC公司： 62甲12 多元分析中的估计 90C26型 非凸规划，全局优化 关键词：迭代加权最小二乘法;低秩矩阵恢复;矩阵完成;非凸优化 软件：CVX公司;Wirter流量;相位提升 PDF格式BibTeX公司 XML格式引用 \textit{C.Kümmerle}和\textit{J.Sigl}，J.Mach。学习。第19号决议，第47号论文，49页（2018年；Zbl 1512.62057） 全文： arXiv公司 链接 参考文献： [1] A.Ahmed和J.Romberg。相关信号的压缩多路复用。IEEE传输。信息理论，61（1）：479–4982015·Zbl 1359.94049号 [2] K.M.R.Audenaert公司。Mirsky奇异值不等式的推广。预印本，arXiv:1410.4941[math.FA]，2014年。 [3] D.S.伯恩斯坦。矩阵数学：理论、事实和公式（第二版）。普林斯顿大学出版社，2009年·Zbl 1183.15001号 [4] S.Bhojanapalli、B.Neyshabur和N.Srebro。低秩矩阵恢复局部搜索的全局最优性。《神经信息处理系统进展》（NIPS），第3873–3881页，2016年。 [5] J.D.Blanchard、J.Tanner和K.Wei。CGIHT：用于压缩感知和矩阵完成的共轭梯度迭代硬阈值。信息推断，4（4）：289–3272015。45 ·Zbl 1380.94045号 [6] E.J.Cand’es和Y.Plan。从最少数量的噪声随机测量中恢复低秩矩阵的严格预言不等式。IEEE传输。《信息论》，57（4）：2342–23592011年4月·Zbl 1366.90160号 [7] E.J.Cand’es和B.Recht。通过凸优化实现精确矩阵补全。已找到。计算。数学。，9(6):717–772, 2009. ·Zbl 1219.90124号 [8] E.J.Cand’es、Y.Eldar、T.Strohmer和V.Voroninski。通过矩阵完成的相位检索。SIAM J.图像。科学。，6(1):199–225, 2013. ·兹比尔1280.49052 [9] E.J.Cand’es、T.Strohmer和V.Voroninski。相位提升：通过凸编程从幅度测量中准确稳定地恢复信号。Commun公司。纯应用程序。数学。，66(8):1241–1274, 2013. ·Zbl 1335.94013号 [10] E.J.Cand’es、X.Li和M.Soltanolkotabi。通过Wirtinger流进行相位恢复：理论和算法。IEEE传输。信息理论，61（4）：1985–2007，2015·Zbl 1359.94069号 [11] R.Chartrand。通过非凸最小化对稀疏信号进行精确重构。IEEE信号处理。莱特。，14:707–710, 2007. [12] J.A.Chavez-Dominguez和D.Kutzarova。低秩矩阵恢复的稳定性及其与Banach空间几何的联系。数学杂志。分析。申请。，427(1):320–335, 2015. ·Zbl 1331.41036号 [13] B.达科罗尼亚。变分法中的直接方法。施普林格，纽约，1989年·Zbl 0703.49001号 [14] I.Daubechies、R.DeVore、M.Fornasier和C.S.G¨unt¨urk。稀疏恢复的迭代加权最小二乘最小化。Commun公司。纯应用程序。数学。，63:1–38, 2010. ·Zbl 1202.65046号 [15] M.A.Davenport和J.Romberg。从不完全观测中恢复低秩矩阵的概述。IEEE J.选择。主题信号处理。，10:608–622, 06 2016. [16] D.L.Donoho、M.Gavish和A.Montanari。从高斯测量中恢复矩阵的相变与矩阵去噪的最小最大均方误差相匹配。程序。美国国家科学院。科学。美国，110（21）：8405–84102013·Zbl 1292.94004号 [17] J.Duchi。痕量和矩阵导数的性质。可通过https://web.stanford.edu/jduchi/projects/matrix_prop.pdf以电子方式获取。 [18] Y.C.Eldar、D.Needell和Y.Plan。低秩矩阵恢复的唯一性条件。申请。计算。哈蒙。分析。，33(2):309–314, 2012. ·Zbl 1247.65056号 [19] 法泽尔先生。矩阵秩最小化及其应用。斯坦福大学电气工程系博士论文，2002年。 [20] M.Fornasier、H.Rauhut和R.Ward。通过迭代加权最小二乘最小化恢复低秩矩阵。SIAM J.优化。，21(4):1614–1640, 2011. 来自https://github.com/rward314/IRLSM]的代码·Zbl 1236.65044号 [21] M.Fornasier、S.Peter、H.Rauhut和S.Worm。迭代加权最小二乘法的共轭梯度加速。计算。最佳方案。申请。，65(1):205–259, 2016. 46 ·Zbl 1353.90115号 [22] S.福卡特。凹面Mirsky不等式和低水位恢复。SIAM J.矩阵分析。申请。，39(1):99–103, 2018. ·Zbl 1386.15025号 [23] S.Foucart和H.Rauhut。压缩传感数学导论。应用和数值谐波分析。Birkh¨auser/Springer，纽约，2013年·Zbl 1315.94002号 [24] Y.Gao、J.Peng、S.Yue和Y.Zhao。压缩感知中0′qď1的‘q最小化’零空间性质。J.功能。空间，2015:4203–4215，2015。 [25] R.Ge、J.D.Lee和T.Ma。矩阵完成没有虚假的局部极小值。《神经信息处理系统进展》（NIPS），第2973–2981页，2016年。 [26] I.Gohberg、S.Goldberg和N.Krupnik。线性算子的迹与行列式，《算子理论：进展与应用》第116卷。Birkh¨auser，巴塞尔，2000年·Zbl 0946.47013号 [27] D.Goldberg、D.Nichols、B.M.Oki和D.Terry。使用协同过滤编织信息挂毯。Commun公司。ACM，35（12）：61-701992年。 [28] M.Grant和S.Boyd。CVX:用于严格凸编程的Matlab软件，2.1版。网址：http://cvxr.com/cvx2014年3月。 [29] D.总量。从任何基础上的少数系数中恢复低秩矩阵。IEEE传输。信息理论，57（3）：1548–15662011·Zbl 1366.94103号 [30] D.Gross、Y.-K.Liu、S.T.Flammia、S.Becker和J.Eisert。通过压缩传感的量子状态层析成像。物理学。修订稿。，105:1504012010年。 [31] D.Gross、F.Krahmer和R.Kueng。使用球形设计对相位提升进行部分去负量化。J.傅里叶分析。申请。，21（2）：2015年第229–266页·Zbl 1332.90197号 [32] J.P.Haldar和D.Hernando。使用幂分解的线性矩阵方程的秩约束解。IEEE信号处理。莱特。，16（7）：584–5872009年7月。[使用AltMin（交替最小化）算法]。 [33] N.Halko、P.G.Martinsson和J.A.Tropp。寻找具有随机性的结构：用于构造近似矩阵分解的概率算法。SIAM版本，53（2）：217–2882011·Zbl 1269.65043号 [34] P.Jain、Raghu M.和I.S.Dhillon。通过奇异值投影保证秩最小化。《神经信息处理系统进展》（NIPS），第937-945页，2010年。 [35] P.Jain、P.Netrapalli和S.Sanghavi。使用交替最小化完成低秩矩阵。程序中。ACM交响乐团。理论计算。（STOC），第665-674页，美国加利福尼亚州帕洛阿尔托，2013年6月·Zbl 1293.65073号 [36] A.詹姆逊。通过m x m或n x n矩阵的反演求解方程ax+xb=c。SIAM J.Appl。数学。，16(5):1020–1023, 1968. ·Zbl 0169.35202号 [37] M.Kabanava、R.Kueng、H.Rauhut和U.Terstiege。通过零空间属性实现稳定的低秩矩阵恢复。信息推断，5（4）：405–4412016。47 ·Zbl 1388.94018号 [38] F.J.Kir´aly、L.Theran和R.Tomioka。低秩矩阵补全的代数组合方法。J.马赫。学习。2015年第16:1391–1436号决议·Zbl 1354.15019号 [39] A.Kyrillidis和V.Cevher。硬阈值方法的矩阵配方。数学杂志。成像视觉，48（2）：235-2652014。[使用矩阵ALPS II（‘矩阵ALgrebraic PursuitS II’）算法，代码来自http://akyrillidis.github.io/projects/]. ·Zbl 1311.90141号 [40] C.Küummerle和J.西格尔。低秩矩阵恢复的调和平均迭代加权最小二乘法。第十二届国际抽样理论与应用会议（SampTA），第489-493页，2017年。 [41] Z.Liu和L.Vandenberghe。核范数逼近的内点方法及其在系统辨识中的应用。SIAM J.矩阵分析。申请。，31(3):1235–1256, 2010. ·Zbl 1201.90151号 [42] Z.Liu、A.Hansson和L.Vandenberghe。缺失输入和输出的核规范系统识别。系统控制信函。，62(8):605–612, 2013. ·Zbl 1279.93040号 [43] J.R.Magnus和H.Neudecker。矩阵微分学及其在统计学和计量经济学中的应用。概率统计威利级数。威利，1999年·Zbl 0912.15003号 [44] B.Mishra、G.Meyer、F.Bach和R.Sepulchre。带有跟踪范数惩罚的低秩优化。SIAM J.优化。，23(4):2124–2149, 2013. ·Zbl 1286.65078号 [45] K.Mohan和M.Fazel。矩阵秩最小化的迭代重加权算法。J.马赫。学习。决议，13（1）：3441–3473，2012年。[使用IRLS-MF（'IRLS-p'）算法，代码来自https://faulty.washington.edu/mfazel网站/]. ·Zbl 1436.65055号 [46] S.Oymak、K.Mohan、M.Fazel和B.Hassibi。低秩矩阵恢复条件的简化方法。《IEEE信息理论国际研讨会（ISIT）论文集》，第2318-2322页，2011年。 [47] D.Park、A.Kyrillidis、C.Caramanis和S.Sanghavi。高效、可靠地找到矩阵问题的低风险解决方案。预打印，arXiv:1606.03168[math.OC]，[使用BFGD（'Bi-Factored Gradient Descent'）算法，代码来自http://akyrillidis。github.io/projects/]，2016年。 [48] D.L.Pimentel-Alarc´on、N.Boston和R.D.Nowak。低秩矩阵完备性的确定性抽样模式的特征。预印本，arXiv:153.02596v3[stat.ML]，2016年10月。 [49] B.Recht、M.Fazel和P.A.Parrilo。通过核范数最小化保证线性矩阵方程的最小秩解。SIAM版本，52（3）：471–5012010·Zbl 1198.90321号 [50] B.Recht、W.Xu和B.Hassibi。秩最小化的零空间条件和阈值。数学。程序。，127(1):175–202, 2011. ·Zbl 1211.90172号 [51] E.Schost.和P.-J.Spaenlehauer。结构低阶近似的二次收敛算法。已找到。计算。数学。，16(2):457–492, 2016. ·Zbl 1347.65080号 [52] N.Srebro、J.Rennie和T.S.Jaakkola。最大边际矩阵分解。《神经信息处理系统进展》（NIPS），第1329–1336页，2005年。48 [53] M.斯图尔特。奇异值较小时奇异值分解的扰动。线性代数应用。，419（1）：2006年第53–77页·Zbl 1111.65037号 [54] 孙立中、罗志强。通过非凸分解保证矩阵完成。IEEE传输。信息理论，62（11）：6535–6579，2016·Zbl 1359.94179号 [55] J.Tanner和K.Wei。矩阵完成的标准化迭代硬阈值。SIAM J.科学。计算。，35（5）：S104–S1252013年·Zbl 1282.65043号 [56] J.Tanner和K.Wei。用交替最速下降法完成低秩矩阵。申请。计算。哈蒙。分析。，40(2):417–429, 2016. [使用ASD（“交替最速下降”）算法，代码来自https://www.math.ucdavis.edu/kewei/publications.html]·Zbl 1336.65047号 [57] S.Tu、R.Boczar、M.Simchowitz、M.Soltanolkotabi和B.Recht。基于Procrustes流的线性矩阵方程的低阶解。《第33届机器学习国际会议论文集》，第48卷，964-973页，2016年。 [58] B.范德利肯。利用黎曼优化完成低秩矩阵。SIAM J.优化。，23(2):1214–1236, 2013. [使用黎曼Opt（“黎曼优化”）算法，代码来自http://www.unige.ch/math/vandereycken/matrix_completion.html]. ·Zbl 1277.15021号 [59] P.-˚A。韦丁。奇异值分解的扰动界。BIT，12（1）：99-1111972年·兹伯利0239.15015 [60] K.Wei、J.-F.Cai、T.F.Chan和S.Leung。低秩矩阵恢复的黎曼优化保证。SIAM J.矩阵分析。申请。，37(3):1198–1222, 2016. ·Zbl 1347.65109号 [61] Z.Wen、W.Yin和Y.Zhang。用非线性逐次过松弛算法求解矩阵补全的低秩分解模型。数学。程序。计算。，4(4):333– 361, 2012. ·Zbl 1271.65083号 [62] Q.Zheng和J.Lafferty。基于随机线性测量的秩最小化和半定规划的收敛梯度下降算法。《神经信息处理系统进展》（NIPS），第109–117页，2015年。 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。