×

通过凸优化实现精确矩阵补全。 (英语) Zbl 1219.90124号

作者通过求解一个凸优化问题,从其元素的采样中恢复数据矩阵。他们首先考虑低秩矩阵的情况,并证明了如果采样项的数目服从(m\geq-Cn^{1.2}个对于某个正数值常数(C),则在很高的概率下,通过求解一个简单的凸优化问题,大多数秩为(r)的矩阵都可以完全恢复。作者证明,半定规划可以找到与数据相匹配的核范数最小的矩阵。
将指数\(1.2)替换为\(1.25),结果适用于秩的所有值。
这个有趣的综述包括关于(n)维实空间线性子空间的相干和非相干以及关于酉变换的非相干的最新结果E.J.Candes和J.Romberg[反向问题23,第3期,969–985(2007年;邮编1120.94005)]关于抽样算子的性质和随机正交模型。有关凸优化方法的一般讨论以及该领域的具体技术成果,请参阅N.绍尔[不可微优化与多项式问题。非凸优化及其应用。24。多德雷赫特:Kluwer学术出版社。(1998;Zbl 0901.49015号)].
对于(n)维实空间的维(r)的子空间(U)和(U)上的正交投影({mathcal P}_U),本文作者定义了(U)(相对于标准基({mathbf e}_i))的相干为\[\mu(U)\equiv\frac{n}{r}\max\|{mathcal P}_U{mathbf e}_i\|^2。\]为了说明他们的主要结果,他们引入了关于一个奇异值分解由({mathcal M}=\sum_{1\leq k\leq r}\sigma_{k}{mathbf u}{k}{mathbfv}^{*}{k{})给出的(n1乘n2)矩阵的两个假设,列和行空间分别由(u\)和(v,\)表示:
(A0)对于某些正的(mu_0),相干服从最大值(mu(U),mu(V))。
(A1)矩阵(sum_1\leqk\leqr}{\mathbfu}_{k}{\Mathbfv}^{*}{k})的最大入口以某些正(mu_1)的绝对值中的(mu_1\sqrt{r/(n_1n_2)}为界。
在这些假设下,本文的主要结果断言,如果矩阵具有与标准基不相干的行和列空间,则核范数最小化可以从少量条目的随机抽样中恢复该矩阵
本文分为八个部分:1引言。2哪些矩阵是不相干的?3二元性。4证明体系结构。5与随机图论的联系。6临界引理的证明。7数值实验。8讨论。
第一种方法通过约束最小化来处理矩阵完成问题,并证明了作者选择考虑一种替代方法的合理性,该方法使矩阵(X)(矩阵核范数(X){*})的非零奇异值之和在约束集(问题(1.5))上最小化:\[\text{minimize}\|X\|{*}\text{subject to}X_{ij}={\mathcal M}_{ij}\;(i,j)在欧米茄。\]第2节介绍了随机正交模型,以及更一般地说,具有非相干列和行空间的矩阵。在第三节中,作者建立了保证真低秩矩阵是问题(1.5)唯一解的充分条件。其中一个条件是存在满足两个关键性质的对偶向量。
“第4节构造了这样一个对偶向量,并提供了证明的总体结构,该证明表明,实际上,只要测量次数足够大,该向量就符合所需的属性。令人惊讶的是,如第5节所探讨的,对偶向量的存在证明了\({mathcal M}\)它与随机图论中的一些问题有关,包括优惠券收集者问题。在此讨论之后,我们通过几个中间结果来证明我们的主要结果,这些结果都在第节中得到了证明。6.第7节介绍了数值实验,表明基于核范数极小化的矩阵补全方法在实际中效果良好。第8节以我们的调查结果的简短总结结束本文,并讨论了重要的扩展和改进。”
附录包含了一个事实的证明(第4节的定理4.2),即算子({mathcal P}{T}{mathcalP}{Omega}{mathcal P{{T})(投影器({mathcal P})在线性空间(T)上的乘积和正交投影器在集合(Omega)中的指数与观测条目对应的位置({mathcal M}_{ij})在浓度不等式之后的部分中没有偏离其预期值M.塔拉格兰[发明数学.126(3)505-563(1996;Zbl 0893.60001号)]以及与Rademacher级数的Schatten(q)范数有关的第(q)阶矩的界的结果(第6节引理6.2)。引理6.2的证明基于F.色品[C.R.科学院,巴黎,SéR.I 303289–292(1986;Zbl 0592.47038号)]和A.布赫霍尔茨[数学年鉴319,1-16(2001;Zbl 0991.46035号)].
用于证明主要定理的一些结果和估计是独立的。
有一个大约四十个项目的参考书目。

MSC公司:

90C25型 凸面编程
90 C59 数学规划中的近似方法和启发式
15B52号 随机矩阵(代数方面)
90-02 与运筹学和数学规划有关的研究博览会(专著、调查文章)
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] ACM SIGKDD,Netflix,KDD Cup和Workshop会议记录(2007年)。会议记录可在线查阅网址:http://www.cs.uic.edu/\(\sim\)liub/KDD-cup-2007/proceedings.html。
[2] T.Ando,R.A.Horn,C.R.Johnson,《哈达玛积的奇异值:一个基本不等式》,《线性多线性代数》21,345–365(1987)·Zbl 0633.15011号 ·网址:10.1080/0308108870708817810
[3] Y.Azar、A.Fiat、A.Karlin、F.McSherry、J.Saia,《数据的光谱分析》,载于第三十三届ACM计算理论研讨会论文集(2001年)·Zbl 1323.68426号
[4] C.Beck,R.D'Andrea,LFT可约化方法的计算研究和比较,《美国控制会议论文集》(1998年)。
[5] D.P.Bertsekas,A.Nedic,A.E.Ozdaglar,凸分析与优化(Athena Scientific,Belmont,2003)·Zbl 1140.90001号
[6] B.Bollobás,《随机图》,第二版。(剑桥大学出版社,剑桥,2001年)。
[7] A.Buchholz,非交换概率中的算子Khintchine不等式,数学。Ann.319,1-16(2001)·Zbl 0991.46035号 ·doi:10.1007/PL00004425
[8] 蔡俊峰,坎迪斯,沈振中,矩阵补全的奇异值阈值算法,技术报告(2008)。预打印可在http://arxiv.org/abs/0810.3286·Zbl 1201.90155号
[9] E.J.Candès,J.Romberg,压缩采样中的稀疏性和不相干,逆问题。23(3), 969–985 (2007). ·邮编1120.94005 ·doi:10.1088/0266-5611/23/3/008
[10] E.J.Candès,J.Romberg,T.Tao,《鲁棒不确定性原理:从高度不完整的频率信息中精确重建信号》,IEEE Trans。《信息论》52(2),489–509(2006)·Zbl 1231.94017号 ·doi:10.1109/TIT.2005.862083
[11] E.J.Candès,T.Tao,线性编程解码,IEEE Trans。《信息论》51(12),4203-4215(2005)·兹比尔1264.94121 ·doi:10.1109/TIT.2005.858979
[12] E.J.Candès,T.Tao,从随机投影中恢复近最优信号:通用编码策略?,IEEE传输。《信息论》52(12),5406–5425(2006)·Zbl 1309.94033号 ·doi:10.1109/TIT.2006.885507
[13] A.L.Chistov,D.Yu。Grigoriev,代数闭域理论中量词消除的复杂性,第11届计算机科学数学基础研讨会论文集。《计算机科学讲义》,第176卷(施普林格,柏林,1984年),第17-31页。
[14] V.H.de la Peña,U统计的解耦和钦钦不等式,Ann.Probab。20(4), 1877–1892 (1992). ·Zbl 0761.60014号 ·doi:10.1214/aop/1176989533
[15] V.H.de la Peña,S.J.Montgomery-Smith,多元U-统计量尾部概率的解耦不等式,Ann.Probab。23(2), 806–816 (1995). ·Zbl 0827.60014号 ·doi:10.1214操作/1176988291
[16] D.L.Donoho,压缩传感,IEEE Trans。《信息论》52(4),1289–1306(2006)·Zbl 1288.94016号 ·doi:10.1109/TIT.2006.871582
[17] P.Drineas、M.W.Mahoney、S.Muthukrishnan,《子空间采样和相对误差矩阵近似:基于列的方法》,载于《第十届年度随机数据处理会议论文集》(2006)·Zbl 1155.68569号
[18] P.Drineas、M.W.Mahoney、S.Muthukrishnan,《子空间采样和相对误差矩阵近似:基于列的方法》,载于《第十四届欧洲账户体系年报》(2006年)·Zbl 1131.68589号
[19] M.Fazel,矩阵秩最小化及其应用,斯坦福大学博士论文(2002年)。
[20] R.A.Horn,C.R.Johnson,《矩阵分析专题》(剑桥大学出版社,剑桥,1994年)。更正了1991年原版的重印·Zbl 080115001号
[21] T.Klein,E.Rio,《关于经验过程最大值平均值的浓度》,Ann.Probab。33(3), 1060–1077 (2005). ·Zbl 1066.60023号 ·doi:10.1214/009117905000000044
[22] B.Laurent,P.Massart,《通过模型选择对二次函数的自适应估计》,《Ann.Stat.28(5)》,1302-1338(2000)·Zbl 1105.62328号 ·doi:10.1214/aos/1015957395
[23] M.Ledoux,《测量现象的集中》(AMS,普罗维登斯,2001年)·Zbl 0995.60002号
[24] A.S.Lewis,特征值优化数学,数学。程序。97(1–2), 155–176 (2003). ·Zbl 1035.90085号
[25] N.Linial,E.London,Y.Rabinovich,《图的几何及其算法应用》,组合数学15,215–245(1995)·Zbl 0827.05021号 ·doi:10.1007/BF01200757
[26] F.Lust-Picquard,Inégalit es de Khintchine dans C p(1<p<,C.R.Acad.Sci.Paris,séR.I 303(7),289–292(1986)。
[27] S.Ma,D.Goldfarb,L.Chen,矩阵秩最小化的不动点和Bregman迭代方法,技术报告(2008)·Zbl 1221.65146号
[28] M.Mesbahi,G.P.Papavassilopoulos,关于半正定线性矩阵不等式上的秩最小化问题,IEEE Trans。自动化。控制42(2),239–243(1997)·Zbl 0872.93029号 ·数字对象标识代码:10.1109/9.554402
[29] B.Recht,M.Fazel,P.Parrilo,通过核范数最小化保证矩阵方程的最小秩解,SIAM Rev.(2007年提交)。预打印可在http://arxiv.org/abs/0706.4138 . ·Zbl 1198.90321号
[30] J.D.M.Rennie,N.Srebro,协作预测的快速最大边际矩阵分解,《国际机器学习会议论文集》(2005)。
[31] M.Rudelson,各向同性位置的随机向量,J.Funct。分析。164(1), 60–72 (1999). ·Zbl 0929.46021号 ·doi:10.1006/jfan.1998.3384
[32] M.Rudelson,R.Vershynin,《从大矩阵中取样:通过几何函数分析的方法》,J.ACM,54(4),第21条,第19页(电子版)(2007年)·Zbl 1326.68333号
[33] A.M.-C.So,Y.Ye,传感器网络定位的半定规划理论,数学。程序。,序列号。B、 2007年9月109日·Zbl 1278.90482号
[34] N.Srebro,《矩阵分解学习》,麻省理工学院博士论文,(2004年)。
[35] M.Talagrand,产品空间中的新集中不等式,发明。数学。126(3), 505–563 (1996). ·Zbl 0893.60001号 ·doi:10.1007/s002220050108
[36] K.C.Toh,M.J.Todd,R.H.TüTüncü,SDPT3–用于半定二次线性编程的MATLAB软件包。可从以下位置获得http://www.math.nus.edu.sg/\(\sim\)mattohkc/sdpt3.html。
[37] L.Vandenberghe,S.P.Boyd,半定规划,SIAM修订版38(1),49-95(1996)·Zbl 0845.65023号 ·数字对象标识代码:10.1137/1038003
[38] G.A.Watson,矩阵范数次微分的刻画,线性代数应用。170, 33–45 (1992). ·Zbl 0751.15011号 ·doi:10.1016/0024-3795(92)90407-2
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。