\`x^2+y_1+z_12^34\`
高级搜索
文章内容
文章内容

低秩矩阵完备的黎曼优化保证

  • *通讯作者:蔡建峰

    *通讯作者:蔡建峰
第一作者获得国家自然科学基金项目11801088和上海市帆船项目18YF1401600的资助。第二位作者得到了香港研究拨款委员会(HKRGC)普通研究基金(GRF)16306317的支持。
摘要 全文(HTML) (4)/表(1) 相关论文 引用人
  • 我们建立了一类基于嵌入低秩矩阵流形的黎曼优化方法的精确恢复保证。假设百万美元$条目$n\次n$等级美元$矩阵通过替换独立均匀采样。我们首先证明,通过一步硬阈值化初始化的黎曼梯度下降和共轭梯度下降算法在高概率下可以保证线性收敛到所提供的测量矩阵

    $\开始{align*}m\geq C_\kappan^{1.5}转\日志^{1.5}(n),结束{align*}$

    哪里C_\kappa美元$是一个数值常量,取决于被测矩阵的条件数。然后采样复杂性进一步提高为

    $\开始{align*}m\geq C_\kappa nr^2\log^{2}(n)\end{align**}$

    通过重采样黎曼梯度下降初始化。新初始化过程的分析依赖于采样算子的非对称限制等距性和低秩矩阵流形的曲率。数值模拟表明,该算法能够从几乎最小的测量次数中恢复低秩矩阵。

    数学学科分类:一次:58F15、58F17;次要:53C35。

    引用:

    \开始{方程式}\\结束{方程式{
  • 加载中
  • 图1。 NIHT(a)和RGrad(b)之间的几何比较。RGrad中又引入了一个投影

    图2。 经验相变曲线(a)RGrad,(b)RCG,(c)RCG重启,(d)GD,当$n=800美元$.水平轴$p=m/n^2美元$和垂直轴$q=(2n-r)r/m$白色表示在所有十个随机测试中成功恢复,黑色表示在所有测试中失败

    图3。 相对残差(十次随机测试的平均值和标准偏差)作为迭代次数的函数n美元=8000$,r=100美元$,1美元/季度=2$(a) 和1美元/季度=3$(b) ●●●●。每个算法后的值是收敛的平均计算时间(秒)

    图4。 (a)RGrad、(b)RCG和(c)RCG在不同SNR下重启的性能

    表1。 比较RGrad/RCG和GD的采样复杂度(SC)、所需假设(RA)、迭代计算成本(PICC)和局部收敛速度(LCR)。备注:1)(Ⅰ)用一步硬阈值初始化表示RGD/RCG,(Ⅱ)用重采样黎曼梯度下降初始化表示RGD/RCG;2)$v_g(_g)$$v_{cg}$都是小于1的绝对数值常数

    算法联合国安全理事会无线电高度表中国人民保险公司LCR公司
    RGrad、RCG(I) $O(\kappa n ^{3/2}r \log ^{3/2}(n))$$\textbf{A0}$ $O(|\Omega|r+|\Omega|+nr^2+nr+r^3)$ $v{g},~v{cg}$
    RGrad、RCG(II) $O(\kappa^6nr^2\log^2(n))$ $\textbf{A0}$ $O(|\Omega|r+|\Omega|+nr^2+nr+r^3)$ $v{g},~v{cg}$
    GD公司[54] $O(\kappa^2nr^2\log(n))$ $\textbf{A0}$ $O(|\Omega|r+|\Omega|+nr^2+nr)$ $(1-\frac{C}{\mu^2\kappa^2r^2})^{1/2}$
    |显示表格
    下载:CSV公司
  • [1] Y.Amit,M.Fink,N.Srebro和S.Ullman,《揭示多类分类中的共享结构》,收录于:第24届国际机器学习大会论文集,2007年,17–24。数字对象标识:10.1145/1273496.1273499。
    [2] A.Argyriou、T.Evgeniou和M.Pontil,多任务特征学习,神经信息处理系统进展,2007年。
    [3] P.-A.Absil公司R.马霍尼R.Sepulchre公司矩阵流形上的优化算法,普林斯顿大学出版社,2008年数字对象标识:10.1515/9781400830244.
    [4] A.艾哈迈德B.Recht公司J.隆伯格,使用凸规划进行盲反褶积,IEEE信息理论汇刊,60(2014), 1711-1732. 数字对象标识:10.1109/TIT.2013.2294644。
    [5] R.Ahlswede先生A.冬季,通过量子通道进行识别的强逆向,IEEE信息理论汇刊,48(2002), 569-579. 数字对象标识:10.1109/18.985947.
    [6] S.Bhojanapalli公司A.凯里尔群岛圣桑哈维,降低凸性以实现更快的半定优化,JMLR:研讨会和会议记录,49(2016), 1-53. 
    [7] J.布兰查德J.坦纳K·魏,CGIHT:用于压缩感知和矩阵完成的共轭梯度迭代硬阈值,信息和推断,4(2015), 289-327. 数字对象标识:10.1093/imaiai/iav011。
    [8] N.Boumal和P.-A.Absil,RTRMC:低秩矩阵补全的黎曼信任区域方法,摘自:神经信息处理系统的进展,2011年。
    [9] E.J.坎迪斯B.Recht公司,通过凸优化实现精确矩阵补全,计算数学基础,9(2009), 717-772. 数字对象标识:10.1007/s10208-009-9045-5。
    [10] E.J.坎迪斯Y.计划,用于从最小数量的随机测量中恢复低秩矩阵的严格预言界,IEEE信息理论汇刊,57(2011), 2342-2359. 数字对象标识:10.1109/TIT.2011.2111771。
    [11] Y.Chen和M.J.Wainwright,通过投影梯度下降进行快速低阶估计:一般统计和算法保证,arXiv公司:1509.03025,2015年。
    [12] E.J.坎迪斯陶哲轩,凸松弛的威力:近优矩阵补全,IEEE信息理论汇刊,56(2009), 2053-2080. 数字对象标识:10.1109/TIT.2010.2044061。
    [13] Y.Chen先生,非相干优化矩阵补全,IEEE信息理论汇刊,61(2015), 2909-2923. 数字对象标识:10.1109/TIT.2015.2415195。
    [14] 蔡建富E.J.坎迪斯Z.沈,矩阵补全的奇异值阈值算法,SIAM优化杂志,20(2010), 1956-1982. 数字对象标识:10.1137/080738970.
    [15] E.J.坎迪斯Y.埃尔达尔T.斯特罗默V.沃罗宁斯基,通过矩阵补全进行相位恢复,SIAM J.成像科学,6(2013), 199-225. 数字对象标识:10.1137/110848074.
    [16] E.J.坎迪斯十、李M.Soltanolkotabi先生,通过Wirtinger流进行相位恢复:理论和算法,IEEE信息理论汇刊,61(2015), 1985-2007. 数字对象标识:10.1109/TIT.2015.2399924。
    [17] Y.Chen先生E.坎迪斯,求解随机二次方程组几乎与求解线性系统一样容易,纯粹数学与应用数学交流,70(2017), 822-883. 数字对象标识:10.1002/cpa.21638。
    [18] L.Eldén,数据挖掘和模式重新定位中的矩阵方法,暹罗,2007年。数字对象标识:10.1137/1.9780898718867。
    [19] M.Fazel,矩阵秩最小化及其应用,斯坦福大学博士论文,2002年。
    [20] D.总量,从任何基础上的少数系数中恢复低秩矩阵,IEEE信息理论汇刊,57(2011), 1548-1566. 数字对象标识:10.1109/TIT.2011.2104999。
    [21] D.戈德法布S.Ma公司,矩阵秩最小化不动点延拓算法的收敛性,计算数学基础,11(2011), 183-210. 数字对象标识:2007年10月10日/10208-011-9084-6。
    [22] R.W.Gerchberg公司W.O.萨克斯顿,从图像和衍射平面图像确定相位的实用算法,Optik公司,35(1972), 237-246. 
    [23] N.J.A.Harvey、D.R.Karger和S.Yekhanin,矩阵完成的复杂性,收录于:第十七届ACM-SIAM离散算法年会论文集, 2006, 1103–1111.数字对象标识:10.1145/1109557.1109679.
    [24] J.P.哈尔达尔D.埃尔南多,使用幂分解的线性矩阵方程的秩约束解,IEEE信号处理信件,16(2009), 584-587. 数字对象标识:10.1109/LSP.2009.2018223。
    [25] P.Jain,R.Meka和I.Dhillon,通过奇异值投影保证秩最小化,in:NIPS,2010。
    [26] P.Jain、P.Netrapalli和S.Sanghavi,使用交替最小化完成低秩矩阵,in:第四十五届ACM计算理论年会论文集, 2013,665–674.数字对象标识:10.1145/2488608.2488693.
    [27] P.贾恩P.内特拉帕利,使用有限样本快速精确完成矩阵,JMLR:研讨会和会议记录,40(2015), 1-28. 
    [28] A.凯里尔群岛V.塞弗尔,硬阈值方法的矩阵配方,数学成像与视觉杂志,48(2014),第235-265页数字对象标识:10.1007/s10851-013-0434-7。
    [29] R.H.Keshavan,协作过滤的高效算法,博士论文,斯坦福大学,2012年。
    [30] R.H.凯沙万A.蒙塔纳里S.哦,从几个条目中完成矩阵,IEEE信息理论汇刊,56(2010), 2980-2998. 数字对象标识:10.1109/TIT.2010.2046205。
    [31] Z.刘L.Vandenberghe先生,核范数逼近的内点方法及其在系统辨识中的应用,SIAM矩阵分析与应用杂志,31(2009), 1235-1256. 数字对象标识:10.1137/090755436.
    [32] K·李Y.布雷斯勒,ADMiRA:最小秩近似的原子分解,IEEE信息理论汇刊,128(2010), 4402-4416. 数字对象标识:10.1109/TIT.2010.2054251。
    [33] S.Ling公司T.斯特罗默,盲反褶积满足盲分层:算法和性能界限,IEEE信息理论汇刊,63(2017), 4497-4520. 数字对象标识:10.1109/TIT.2017.2701342。
    [34] B.Mishra,K.A.Apuroop和R.Sepulchre,低秩矩阵完备的黎曼几何,arXiv 1306.26722013。
    [35] B.米什拉G.梅耶S.邦纳贝尔R.Sepulchre公司,固定秩矩阵分解和黎曼低秩优化,计算统计学,29(2014), 591-621. 数字对象标识:10.1007/s00180-013-0464-z。
    [36] T.Ngo和Y.Saad,矩阵完备的Grassmann流形上的标度梯度,摘自:《神经信息处理系统进展》,2012年。
    [37] J.Nocedal和S.J.Wright,数值优化斯普林格出版社,2006年。
    [38] B.Recht公司M.法泽尔P.A.帕里罗,通过核范数最小化保证线性矩阵方程的最小秩解,SIAM审查,52(2010), 471-501. 数字对象标识:10.1137/070697835.
    [39] B.Recht公司,一种更简单的矩阵补全方法,机器学习研究杂志,12(2011), 3413-3430. 
    [40] C.D.Sa,K.Olukotun,C.Ré,一些非凸矩阵问题的随机梯度下降的全局收敛性,在:ICML,2015。
    [41] R.Sun和Z.Loo,通过非凸因子分解保证矩阵完备,2015年IEEE第56届计算机科学基础年度研讨会-FOCS 2015,IEEE计算机协会,加利福尼亚州洛斯阿拉米托斯,2015270–289。
    [42] J.孙Q.曲J.赖特,相位恢复的几何分析,计算数学基础,18(2018), 1131-1198. 数字对象标识:2007年10月10日/10208-017-9365-9。
    [43] J.Tanner和K.Wei,矩阵完成的标准化迭代硬阈值,SIAM科学计算杂志,35(2013),S104–S125。数字对象标识:10.1137/120876459.
    [44] S.Tu、R.Boczar、M.Simchowitz、M.Soltanolkotabi和B.Recht,《通过Procrustes流求解线性矩阵方程的低秩解》,载:ICML,2016年。
    [45] J.坦纳K·魏,用交替最速下降法完成低秩矩阵,应用和计算谐波分析,40(2016), 417-429. 数字对象标识:2016年10月10日/j.acha.2015.08.003。
    [46] L.Vandenberghe先生S.博伊德,半定规划,SIAM审查,38(1996), 49-95. 数字对象标识:10.1137/1038003.
    [47] B.范德利肯,通过黎曼优化完成低秩矩阵,SIAM优化杂志,23(2013), 1214-1236. 数字对象标识:10.1137/110845768.
    [48] Z.温W.尹Y.Zhang先生,用非线性逐次过松弛算法求解矩阵补全的低阶分解模型,数学规划计算,4(2012), 333-361. 数字对象标识:10.1007/s12532-012-0044-1。
    [49] C.D.白色圣桑哈维R.病房,二次方程组求解的局部凸性,数学成绩,71(2017), 569-608. 数字对象标识:10.1007/s00025-016-0564-5。
    [50] K·魏蔡建富T.F.Chan先生S.Leung(梁朝伟),低秩矩阵恢复的黎曼优化保证,SIAM矩阵分析与应用杂志,37(2016), 1198-1222. 数字对象标识:10.1137/15M1050525。
    [51] K.Wei,通过Kaczmarz方法求解无相方程组:概念验证研究,反问题,31(2015),125008,第23页。数字对象标识:10.1088/0266-5611/31/12/125008.
    [52] Q.Zheng和J.Lafferty,随机线性测量中秩最小化和半定规划的收敛梯度下降算法,NIPS,2015年。
    [53] T.Zhao,Z.Wang和H.Liu,基于不精确一阶预言的非凸低秩矩阵分解,NIPS,2015。
    [54] Q.Zheng和J.Lafferty,使用Burr-Monteiro因式分解和梯度下降法对矩形矩阵补全的收敛性分析,2016,arXiv:1605.0705.
  • 加载中

数字(4)

桌子(1)

分享

文章指标

HTML视图(1764) PDF下载(574) 引用人(0)

访问历史记录

目录

    /

    返回
    返回