×

通过无延迟凸优化从秩一投影进行低秩矩阵估计。 (英语) Zbl 1528.65025号

摘要:我们研究了从秩一投影恢复低秩矩阵的凸公式估计量。利用秩-(r)的目标矩阵(d_1乘d_2)的因子的初始估计,该估计量允许一种实用的次梯度方法在维空间(r(d_1+d_ 2)中操作。这种性质使得估计量比基于提升和半定规划的凸估计量具有更大的可伸缩性。此外,我们还对真实高斯测量模型下的精确恢复进行了流线化分析,并使用球面设计对部分去域测量模型进行了分析。我们证明,在这两种模型下,如果测量次数超过\(r^2(d_1+d_2)\)一些对数因子,则估计成功的概率很高。此样本复杂性改进了非凸迭代算法的现有结果。

MSC公司:

65层55 低阶矩阵逼近的数值方法;矩阵压缩
15A83号 矩阵完成问题
62甲12 多元分析中的估计
90立方厘米25 凸面编程
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] A.Ahmed、B.Recht和J.Romberg,使用凸规划的盲反褶积,IEEE Trans。通知。《理论》,60(2013),第1711-1732页·Zbl 1360.94057号
[2] S.Bahmani,通过凸规划从非线性观测值进行估计,并应用于双线性回归,电子。J.统计。,13(2019),第1978-2011页·Zbl 1420.62088号
[3] S.Bahmani和J.Romberg,《相位检索与统计学习理论:灵活的凸松弛》,载于《第20届国际人工智能与统计会议论文集》,PMLR,2017年,第252-260页·Zbl 1408.62032号
[4] S.Bahmani和J.Romberg,通过锚定回归求解随机凸函数方程,发现。计算。数学。,19(2019),第813-841页·Zbl 1422.62235号
[5] R.Balan、B.G.Bodmann、P.G.Casazza和D.Edidin,根据帧系数大小进行无痛重建,J.Fourier Anal。申请。,15(2009年),第488-501页·兹比尔1181.42032
[6] R.Bhatia,矩阵分析,梯度。数学课文。169,施普林格科学与商业媒体,2013年。
[7] J.Bougain、S.Dirksen和J.Nelson,《欧几里德空间稀疏降维统一理论》,Geom。功能。分析。,25(2015),第1009-1088页·Zbl 1341.46007号
[8] S.Bubeck,凸优化:算法和复杂性,发现。趋势马赫数。学习。,8(2015),第231-357页,https://doi.org/10.1561/220000050。 ·Zbl 1365.90196号
[9] 蔡T.T.和张A.,《ROP:通过一级预测进行矩阵恢复》,《统计年鉴》。,43(2015),第102-138页·Zbl 1308.62120号
[10] V.Cambareri和L.Jacques,《穿过雾霾:线性随机传感模型盲增益校准的非凸方法》,Inf.Inference,8(2018),第205-271页,https://doi.org/10.1093/imaiai/iay004。 ·Zbl 1470.94034号
[11] E.J.Candes、Y.C.Eldar、T.Strohmer和V.Voroninski,通过矩阵完成的相位恢复,SIAM Rev.,57(2015),第225-251页,https://doi.org/10.1137/111005099。 ·Zbl 1344.49057号
[12] E.J.Candes、X.Li和M.Soltanolkotabi,《通过Wirtinger流进行相位恢复:理论和算法》,IEEE Trans。通知。《理论》,61(2015),第1985-2007页·Zbl 1359.94069号
[13] E.J.Candès和T.Tao,凸松弛的力量:近最优矩阵完成,IEEE Trans。通知。《理论》,56(2010),第2053-2080页·Zbl 1366.15021号
[14] Y.Chen、Y.Chi和A.J.Goldsmith,通过凸规划从二次抽样中进行精确和稳定的协方差估计,IEEE Trans。通知。理论,61(2015),第4034-4059页·Zbl 1359.62181号
[15] Chi Y.M.Lu和Y.Chen,非凸优化满足低秩矩阵分解:概述,IEEE Trans。信号处理。,67(2019年),第5239-5269页·Zbl 07123429号
[16] M.A.Davenport和J.Romberg,《从不完全观测中恢复低秩矩阵的概述》,IEEE J.信号处理选题。,10(2016年),第608-622页。
[17] K.R.Davidson和S.J.Szarek,局部算子理论,随机矩阵和Banach空间,《Banach几何手册》,第1卷,北荷兰,2001年,第317-366页·Zbl 1067.46008号
[18] V.de la P͂ena和E.Gineá,《解耦:从依赖到独立》,施普林格科学与商业媒体,2012年。
[19] P.Delsarte、J.-M.Goethals和J.J.Seidel,《球面代码和设计》,载于《几何学和组合数学》,爱思唯尔出版社,1991年,第68-93页·Zbl 0376.05015号
[20] S.Dirksen,非交换和向量值Rosenthal不等式,代尔夫特理工大学博士论文,2011年。
[21] S.Dirksen、G.Lecueí和H.Rauhut,关于受限等距特性和稀疏恢复条件之间的差距,IEEE Trans。通知。理论,64(2016),第5478-5487页·Zbl 1401.94031号
[22] F.M.Dopico,关于奇异子空间变分的sin(theta)定理的注记,BIT,40(2000),第395-403页·Zbl 0961.65034号
[23] S.Foucart和S.Subramanian,从秩一投影进行低阶恢复的迭代硬阈值,线性代数应用。,572(2019),第117-134页·Zbl 1433.65084号
[24] T.Goldstein和C.Studer,Phasemax:通过基追踪的凸相位恢复,IEEE Trans。通知。《理论》,64(2018),第2675-2689页·Zbl 1390.94194号
[25] D.Gross,从任何基础上的少数系数中恢复低秩矩阵,IEEE Trans。通知。《理论》,57(2011),第1548-1566页·Zbl 1366.94103号
[26] D.Gross、F.Krahmer和R.Kueng,《使用球形设计的相位提升部分去量化》,J.Fourier Ana。申请。,21(2015),第229-266页·Zbl 1332.90197号
[27] N.Halko、P.G.Martinsson和J.A.Tropp,《发现随机结构:构造近似矩阵分解的概率算法》,SIAM Rev.,53(2011),第217-288页,https://doi.org/10.1137/090771806。 ·Zbl 1269.65043号
[28] P.Jain、P.Netrapali和S.Sanghavi,《使用交替最小化的低秩矩阵补全》,载于《第四十五届美国计算机学会计算理论年度研讨会论文集》,美国计算机学会,2013年,第665-674页·Zbl 1293.65073号
[29] M.Junge和Q.Zeng,非交换Bennett和Rosenthal不等式,Ann.Probab。,41(2013),第4287-4316页·Zbl 1290.46056号
[30] R.H.Keshavan、A.Montanari和S.Oh,《几个条目的矩阵补全》,IEEE Trans。通知。《理论》,56(2010),第2980-2998页·Zbl 1366.62111号
[31] V.Koltchinski和S.Mendelson,《无集中随机矩阵的最小奇异值的定界》,国际。数学。Res.Notices,2015(2015),第12991-13008页·Zbl 1331.15027号
[32] R.Kueng、H.Rauhut和U.Terstiege,从秩一测量中恢复低秩矩阵,应用。计算。哈蒙。分析。,42(2017),第88-116页·Zbl 1393.94310号
[33] J.M.Landsberg,《张量:几何与应用》,Grad。学生数学。128,AMS,2012年·Zbl 1238.15013号
[34] M.Ledoux和M.Talagrand,《巴拿赫空间中的概率:等高线和过程》,Ergeb。数学。格伦兹格布。(3) 23,Springer科学与商业媒体,1991年·Zbl 0748.60004号
[35] Y.Li,C.Ma,Y.Chen,Y.Chi,基于秩一测量的非凸矩阵因式分解,IEEE Trans。通知。《理论》,67(2021),第1928-1950页·兹比尔1473.65050
[36] M.Lin和J.Ye,广义因式分解机和秩一矩阵传感的非凸单向框架,《神经信息处理系统进展》,2016年,第1633-1641页。
[37] C.Ma,K.Wang,Y.Chi,Y.Chen,非凸统计估计中的隐式正则化:梯度下降线性收敛用于相位检索和矩阵完成,机器学习国际会议,PMLR,2018年,第3345-3354页。
[38] C.McDiarmid,《关于有界差分方法》,载于《组合数学调查》,伦敦数学。Soc.课堂讲稿Ser。141,剑桥大学出版社,1989年,第148-188页·Zbl 0712.05012号
[39] S.Mendelson,《专心致志地学习》,载于《学习理论会议》,2014年,第25-39页·Zbl 1333.68232号
[40] R.E.A.C.Paley和A.Zygmund,单位圆内解析函数的注记,数学。程序。外倾角。菲洛斯。《社会学杂志》,28(1932),第266-272页·JFM 58.1076.03号
[41] J.T.Parker、P.Schniter和V.Cevher,双线性广义近似消息传递——第一部分:推导,IEEE Trans。信号处理。,62(2014),第5839-5853页·Zbl 1394.94447号
[42] S.Sanghavi、R.Ward和C.D.White,解二次方程组的局部凸性,结果数学。,71(2017),第569-608页·Zbl 1383.65064号
[43] B.A.Schmitt,矩阵平方根和勾股和的扰动界,线性代数应用。,174(1992),第215-227页·Zbl 0758.15006号
[44] M.Soltani和C.Hegde,从秩一投影中恢复矩阵的改进算法,预印本,https://arxiv.org/abs/1705.07469, 2017.
[45] S.Sra、S.Nowozin和S.J.Wright,《机器学习优化》,神经信息处理系列,麻省理工学院出版社,2011年。
[46] R.Sun和Z.-Q.Luo,通过非凸因子分解保证矩阵完成,IEEE Trans。通知。《理论》,62(2016),第6535-6579页·兹比尔1359.94179
[47] J.A.Tropp,《发现随机矩阵和的用户友好尾部界限》。计算。数学。,12(2012),第389-434页·Zbl 1259.60008号
[48] J.A.Tropp,《独立随机线性测量中结构化信号的凸恢复》,摘自《抽样理论》,《文艺复兴》,斯普林格出版社,2015年,第67-101页·Zbl 1358.94034号
[49] A.W.van Der Vaart和J.A.Wellner,《弱收敛和经验过程》,《统计学中的斯普林格级数》,斯普林格出版社,1996年·Zbl 0862.60002号
[50] R.Vershynin,《高维概率:数据科学应用导论》,剑桥大学。序列号。统计概率。数学。47,剑桥大学出版社,2018年·Zbl 1430.60005号
[51] K.Zhong、P.Jain和I.S.Dhillon,使用秩-\textup1高斯测量的高效矩阵传感,算法学习理论国际会议,Springer,2015年,第3-18页·Zbl 1471.68103号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。