×

低秩矩阵恢复的黎曼优化保证。 (英语) Zbl 1347.65109号

小结:我们建立了一类用于低秩矩阵恢复的黎曼优化算法的理论恢复保证,即从(p<mn)个线性测量值中恢复一个(m×n)秩(r)矩阵。这些算法首先被解释为具有子空间投影的迭代硬阈值算法。基于这种联系,我们证明了当传感算子的限制等距常数(R{3r})小于(C_\kappa/\sqrt{R}矩阵,如果它们是通过一步硬阈值初始化的。经验评估表明,这些算法能够从几乎最少的测量次数中恢复低秩矩阵。

MSC公司:

65千5 数值数学规划方法
90C26型 非凸规划,全局优化
53对21 局部黎曼几何方法
15A83号 矩阵完成问题
15A03号 向量空间,线性相关性,秩,线性
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] P.-A.Absil、R.Mahony和R.Sepulchre,《矩阵流形上的优化算法》,普林斯顿大学出版社,新泽西州普林斯顿,2008年·Zbl 1147.65043号
[2] A.Ahmed、B.Recht和J.Romberg,{使用凸编程的盲反褶积},IEEE Trans。通知。《理论》,60(2013),第1711-1732页·Zbl 1360.94057号
[3] D.Amelunxen、M.Lotz、M.B.McCoy和J.A.Tropp,《生活在边缘:凸优化中相变的几何理论》,Inform。推断,3(2014),第224-294页·Zbl 1339.90251号
[4] Y.Amit、M.Fink、N.Srebro和S.Ullman,《揭示多类分类中的共享结构》,第24届机器学习国际会议论文集,2007年。
[5] A.Argyriou、T.Evgeniou和M.Pontil,《高级神经信息处理》,{多任务特征学习}。系统。19,麻省理工学院出版社,马萨诸塞州剑桥,2007年,第41-48页·Zbl 1470.68073号
[6] S.Bhojanapalli、A.Kyrillidis和S.Sanghavi,{\it Dropping Convexity for Faster Semi-Definite Optimization},arXiv:1509.039172015。
[7] J.Blanchard、J.Tanner和K.Wei,{it CGIHT:压缩感知和矩阵完成的共轭梯度迭代硬阈值},Inform。推理,4(2015),第289-327页·Zbl 1380.94045号
[8] J.D.Blanchard、J.Tanner和K.Wei,《共轭梯度迭代硬阈值:压缩传感的观测噪声稳定性》,IEEE Trans。信号处理。,63(2015),第528-537页·Zbl 1394.94083号
[9] T.Blumensath和M.E.Davies,{压缩感知的迭代硬阈值},应用。计算。哈蒙。分析。,27(2009),第265-274页·Zbl 1174.94008号
[10] T.Blumensath和M.E.Davies,{标准化迭代硬阈值:保证稳定性和性能},IEEE J.选定主题信号处理。,4(2010年),第298-309页。
[11] 蔡振峰,坎迪斯,沈振中,矩阵补全的奇异值阈值算法,SIAM J.Optim。,20(2010),第1956-1982页·Zbl 1201.90155号
[12] L.Cambier和P.-A.Absil,{通过黎曼优化实现鲁棒低秩矩阵完备},SIAM J.Sci。计算。,出现·Zbl 1352.65149号
[13] E.J.Candès,{压缩抽样},《国际数学大会论文集》,2006年·Zbl 1130.94013号
[14] E.J.Candès,《受限等距特性及其对压缩感知的影响》,C.R.Math。阿卡德。科学。巴黎Ser。一、 346(2008),第589-592页·Zbl 1153.94002号
[15] E.J.Candès、Y.Eldar、T.Strohmer和V.Voroninski,{通过矩阵完成相位恢复},SIAM J.成像科学。,6(2013年),第199-225页·Zbl 1280.49052号
[16] E.J.Candès、X.Li和M.Soltanolkotabi,《通过Wirtinger流进行相位恢复:理论和算法》,IEEE Trans。通知。《理论》,61(2015),第1985-2007页·Zbl 1359.94069号
[17] E.J.Candès和Y.Plan,{从最少数量的随机测量中恢复低秩矩阵的紧预言界},IEEE Trans。通知。《理论》,57(2009),第2342-2359页·Zbl 1366.90160号
[18] E.J.Candès和B.Recht,{通过凸优化实现精确矩阵完成},Found。计算。数学。,9(2009),第717-772页·Zbl 1219.90124号
[19] E.J.Candès、J.Romberg和T.Tao,《稳健不确定性原理:从高度不完整的频率信息精确重建信号》,IEEE Trans。通知。《理论》,52(2006),第489-509页·兹比尔1231.94017
[20] E.J.Candès和T.Tao,{线性编程解码},IEEE Trans。通知。《理论》,51(2005),第4203-4215页·Zbl 1264.94121号
[21] E.J.Candès和T.Tao,{凸松弛的力量:近最优矩阵完成},IEEE Trans。通知。《理论》,56(2009),第2053-1080页·Zbl 1366.15021号
[22] Y.Chen和M.J.Wainwright,{通过投影梯度下降进行快速低秩估计:一般统计和算法保证},arXiv:1509.030252015。
[23] D.L.Donoho,{压缩传感},IEEE Trans。通知。《理论》,52(2006),第1289-1306页·兹比尔1288.94016
[24] L.Eldeín,《数据挖掘和模式重组中的矩阵方法》,SIAM,费城,2007年·Zbl 1120.68092号
[25] R.W.Gerchberg和W.O.Saxton,《从图像和衍射平面图确定相位的实用算法》,Optik,35(1972),第237-246页。
[26] D.Goldfarb和S.Ma,{矩阵秩最小化不动点延拓算法的收敛性},发现。计算。数学。,11(2011),第183-210页·Zbl 1219.90195号
[27] G.H.Golub和C.F.Van Loan,《矩阵计算》,约翰·霍普金斯出版社,巴尔的摩,2013年·Zbl 1268.65037号
[28] D.Gross,{从任何基的几个系数中恢复低秩矩阵},IEEE Trans。通知。《理论》,57(2011),第1548-1566页·Zbl 1366.94103号
[29] J.P.Haldar和D.Hernando,{使用幂分解求解线性矩阵方程的秩约束解},IEEE信号处理。莱特。,16(2009年),第584-587页。
[30] P.Jain、R.Meka和I.Dhillon,通过奇异值投影保证秩最小化,《神经信息处理系统会议论文集》,2010年。
[31] P.Jain和P.Netrapali,{\it有限样本的快速精确矩阵完备},J.Mach。学习。Res.,40(2015),第1-28页。
[32] P.Jain、P.Netrapalli和S.Sanghavi,{使用交替最小化完成低秩矩阵},arXiv:1212.04672012·Zbl 1293.65073号
[33] M.Kabanava、R.Kueng、H.Rauhut和U.Terstiege,{通过零空间属性实现稳定低秩矩阵恢复},arXiv:1507.071842015·Zbl 1388.94018号
[34] R.H.Keshavan,{协同过滤的高效算法}。斯坦福大学博士论文,2012年。
[35] R.H.Keshavan、A.Montanari和S.Oh,{从几个条目完成矩阵},IEEE Trans。通知。《理论》,56(2010),第2980-2998页·Zbl 1366.62111号
[36] R.H.Keshavan、A.Montanari和S.Oh,{噪声项的矩阵补全},J.Mach。学习。第11号决议(2010年),第2057-2078页·Zbl 1242.62069号
[37] A.Kyrillidis和V.Cevher,《硬阈值方法的矩阵食谱》,J.Math。《成像视觉》,48(2014),第235-265页·Zbl 1311.90141号
[38] K.Lee和Y.Bresler,{\it-ADMiRA:最小秩近似的原子分解},IEEE Trans。通知。《理论》,128(2010),第4402-4416页·Zbl 1366.94112号
[39] Z.Liu和L.Vandenberghe,{核范数逼近的内点方法及其在系统辨识中的应用},SIAM J.矩阵分析。申请。,31(2009),第1235-1256页·Zbl 1201.90151号
[40] B.Mishra、K.A.Apuroop和R.Sepulchre,{低秩矩阵完成的黎曼几何},arXiv:1211.1550,2012年。
[41] B.Mishra、G.Meyer、S.Bonnabel和R.Sepulchre,{固定秩矩阵分解和黎曼低秩优化},计算。统计人员。,29(2014),第591-261页·Zbl 1306.65107号
[42] B.Mishra和R.Sepulchre,{it R3MC:低秩矩阵完成的黎曼三因子算法},arXiv:1306.26722013。
[43] B.Mishra和R.Sepulchre,{黎曼预处理},SIAM J.Optim。,26(2016),第635-660页·Zbl 1382.65180号
[44] T.Ngo和Y.Saad,{用于矩阵完成的格拉斯曼流形上的标度梯度},《高级神经信息处理》。系统。25, 2012.
[45] J.Nocedal和S.J.Wright,{数值优化},Springer,纽约,2006年·Zbl 1104.65059号
[46] S.Oymak和B.Hassibi,{矩阵秩最小化的新空空间结果和恢复阈值},arXiv:1011.63262010。
[47] B.Recht,{矩阵补全的一种简单方法},J.Mach。学习。Res.,12(2011),第3413-3430页·Zbl 1280.68141号
[48] B.Recht、M.Fazel和P.A.Parrilo,{通过核范数最小化保证线性矩阵方程的最小秩解},SIAM Rev.,52(2010),第471-501页·Zbl 1198.90321号
[49] B.Recht,W.Xu和B.Hassibi,{秩最小化的空空间条件和阈值},数学。程序。序列号。B、 127(2011),第175-211页·Zbl 1211.90172号
[50] C.D.Sa、K.Olukotun和C.Re,{一些非凸矩阵问题的随机梯度下降的全局收敛},载于《ICML学报》,2015年。
[51] R.Sun和Z.Luo,{通过非凸因子分解保证矩阵完备},《FOCS学报》,2015年·Zbl 1359.94179号
[52] J.Tanner和K.Wei,矩阵完备的归一化迭代硬阈值,SIAM J.Sci。计算。,35(2013),第S104-S125页·Zbl 1282.65043号
[53] J.Tanner和K.Wei,通过交替最速下降方法完成低秩矩阵,Appl。计算。哈蒙。分析。,40(2016年),第417-429页·Zbl 1336.65047号
[54] S.Tu、R.Boczar、M.Simchowitz、M.Soltanolkotabi和B.Recht,{通过Procrustes Flow}获得线性矩阵方程的低秩解,arXiv:1507.035662016。
[55] B.Vandereycken,{利用黎曼优化完成低秩矩阵},SIAM J.Optim。,23(2013),第1214-1236页·Zbl 1277.15021号
[56] K.Wei,{压缩感知和矩阵完成的高效算法}。牛津大学博士论文,2014年。
[57] K.Wei,{通过Kaczmarz方法求解无相方程组:概念验证研究},《反问题》,31(2015),125008·Zbl 1332.65045号
[58] K.Wei,J.-F.Cai,T.F.Chan,and S.Leung,{低秩矩阵完备性黎曼优化的保证},arXiv:1603.066102016·Zbl 1347.65109号
[59] Z.Wen,W.Yin,and Y.Zhang,{用非线性连续过松弛算法求解矩阵补全的低阶因式分解模型},Math。程序。计算。,4(2012年),第333-361页·Zbl 1271.65083号
[60] C.D.White、S.Sanghavi和R.Ward,{二次方程组解的局部凸性},arXiv:1506.078682015·Zbl 1383.65064号
[61] T.Zhao,Z.Wang,和H.Liu,{通过不精确的一阶预言机进行非凸低秩矩阵分解},《NIPS学报》,2015年。
[62] Q.Zheng和J.Lafferty,{基于随机线性测量的秩最小化和半定规划的收敛梯度下降算法},《NIPS学报》,2015年。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。