×
蔡昌晓；Gen李；可怜的H.文森特；陈雨欣

噪声数据的非凸低秩张量补全。 （英语） Zbl 1511.90330号

操作。物件。 70，第2期，1219-1237（2022）.
本文研究了含噪数据的低秩张量补全问题。这在实践中是一个非常重要的问题。本文表明，具有良好初始化的香草型梯度下降算法是一种近似线性时间算法，具有近似最优的统计保证和最优的统计精度。这是一篇坚实的理论论文，为经典的梯度下降方法提供了新的线索，并展示了如何通过统计和算法工具克服非凸性。
审核人：梁祖鹏（巴尔的摩）

引用于2文件

MSC公司：

90C26型 非凸规划，全局优化

关键词：

非凸优化；低秩张量补全

软件：

十字架；Wirter流量；稳健SP
PDF格式BibTeX公司 XML格式引用
\textit{C.Cai}等人，Oper。第70号决议，第2号，1219--1237（2022年；Zbl 1511.90330）
全文： DOI程序 arXiv公司

参考文献：

[1] Abbe E，Fan J，Wang K，Zhong Y（2017）低期望秩随机矩阵的条目特征向量分析。安。统计师。48（3）：1452-1474.谷歌学者·Zbl 1450.62066号
[2] Anandkumar A，Ge R，Janzamin M（2014b）通过交替秩1更新保证非正交张量分解。预印本，2月21日提交，https://arxiv.org/abs/1402.5180.谷歌学者
[3] Anandkumar A，Ge R，Hsu D，Kakade SM，Telgarsky M（2014a）学习潜在变量模型的张量分解。J.机器学习。物件。15（1）：2773-2832.谷歌学者·Zbl 1319.62109号
[4] Ashraphijuo M，Wang X（2017）低CP-库张量完成的基本条件。J.机器学习。物件。18（1）:2116-2145.谷歌学者·Zbl 1439.15009号
[5] Barak B，Moitra A（2016）通过平方和层次结构完成噪声张量。程序。第29届年度Conf.学习理论，纽约，417-445年6月23-26日。谷歌学者
[6] Bubeck S（2015）《凸优化：算法和复杂性》。基础趋势机器学习8（3-4）：231-357.Crossref，谷歌学者·Zbl 1365.90196号 ·doi:10.1561/2200000050
[7] Cai C，Li G，Poor HV，Chen Y（2019）噪声数据的非凸低阶张量补全。Wallach H、Larochelle H、Beygelzimer A、d'Alché-Buc F、Fox E、Garnett R编辑高级神经信息。处理系统32（Curran Associates，Red Hook，NY），1863-1874.谷歌学者
[8] Cai C，Li G，Chi Y，Poor HV，Chen Y（2021）基于不平衡和不完整数据矩阵的子空间估计：ℓ2，∞统计保证。安。统计师。49（2）:944-967.Crossref，谷歌学者·Zbl 1471.62371号 ·doi:10.1214/20-AOS1986
[9] Candès E，Recht B（2009）通过凸优化实现精确矩阵补全。基础计算。数学。9（6）：717-772.Crossref，谷歌学者·Zbl 1219.90124号 ·doi:10.1007/s10208-009-9045-5
[10] Candès EJ，Li X，Soltanolkotabi M（2015）《通过Wirtinger流进行相位恢复：理论和算法》。IEEE传输。通知。理论61（4）：1985-2007.谷歌学者交叉引用·Zbl 1359.94069号 ·doi:10.1109/TIT.2015.2399924
[11] Chen Y，Candès EJ（2017）求解随机二次方程组几乎与求解线性系统一样简单。普通纯应用程序。数学。70（5）：822-883.Crossref，谷歌学者·Zbl 1379.90024号 ·doi:10.1002/cpa.21638
[12] Chen Y，Chi Y（2014）通过结构化矩阵完成的稳健频谱压缩传感。IEEE传输。通知。理论60（10）：6576-6601.Crossref，谷歌学者·Zbl 1360.94064号 ·doi:10.1109/TIT.2014.2343623
[13] Chen Y，Chi Y（2018）通过保证低秩矩阵估计治理大数据中的结构：通过凸优化和非凸优化的最新理论和快速算法。IEEE信号处理杂志35（4）：14-31.Crossref，谷歌学者·doi:10.1109/MSP.2018.2821706
[14] Chen Y，Wainwright MJ（2015）《通过投影梯度下降进行快速低阶估计：一般统计和算法保证》。9月10日提交的预印本，https://arxiv.org/abs/1509.03025.谷歌学者
[15] Chen J，Liu D，Li X（2019a）通过梯度下降完成非凸矩形矩阵ℓ2，∞正则化。1月18日提交的预印本，https://arxiv.org/abs/1901.06116v1.谷歌学者
[16] Chen H，Raskutti G，Yuan M（2019b）广义低阶张量回归的非凸投影梯度下降。J.机器学习。物件。20（1）：172-208谷歌学者·Zbl 1483.62091号
[17] Chen Y，Chi Y，Fan J，Ma C（2019c）随机初始化梯度下降：非凸相位恢复的快速全局收敛。数学。编程176（1-2）:5-37.Crossref，谷歌学者·Zbl 1415.90086号 ·doi:10.1007/s10107-019-01363-6
[18] Chen Y，Fan J，Ma C，Wang K（2019d）谱方法和正则化MLE都是排名前K的最佳方法。安。统计师。47（4）：2204-2235.谷歌学者交叉引用·Zbl 1425.62038号 ·doi:10.1214/18-AOS1745
[19] Chen Y，Fan J，Ma C，Yan Y（2019e）噪声矩阵补全的推断和不确定性量化。程序。国家。阿卡德。科学。美国116（46）：22931-22937.Crossref，谷歌学者·Zbl 1431.90117号 ·doi:10.1073/pnas.1910053116
[20] Chen Y，Chi Y，Fan J，Ma C，Yan Y（2021）噪声矩阵完成：通过非凸优化了解凸松弛的统计保证。SIAM J.Optim公司。30（4）:3098-3121.谷歌学者·Zbl 1477.90060号
[21] Cheng JY，Zhang T，Alley MT，Uecker M，Lustig M，Pauly JM，Vasanawala SS（2017）《综合多维MRI同时评估心肺解剖和生理学》。科学。代表。7（1）：5330.Crossref，谷歌学者·doi:10.1038/s41598-017-04676-8
[22] Chi Y，Lu Y，Chen Y（2019）非凸优化满足低秩矩阵分解：概述。IEEE传输。信号处理67（20）：5239-5269.Crossref，谷歌学者·Zbl 07123429号 ·doi:10.1109/TSP.2019.2937282
[23] Davenport MA，Romberg J（2016）《从不完全观测中恢复低秩矩阵的概述》。IEEE J.选定主题信号处理10（4）：608-622.Crossref，谷歌学者·doi:10.1109/JSTSP.2016.2539100
[24] Ding L，Chen Y（2018）矩阵完成的留一方法：原始和对偶分析。预印本，3月20日提交，https://arxiv.org/abs/1803.07554谷歌学者
[25] Driggs D，Becker S，Boyd-Graber J（2019）张量稳健主成分分析：利用原子范数正则化实现更好的恢复。预印本，1月30日提交，https://arxiv.org/abs/1901.10991。谷歌学者
[26] El Karoui N（2015）关于预测器几何对高维脊线正则化广义稳健回归估计器性能的影响。普罗巴伯。理论相关领域170:95-175.Crossref，谷歌学者·Zbl 1407.62060号 ·doi:10.1007/s00440-016-0754-9
[27] Ely G、Aeron S、Hao N、Kilmer ME（2013）使用张量核范数（TNN）完成5D和4D叠前地震数据。SEG技术计划扩展摘要。（俄克拉荷马州塔尔萨勘探地球物理学家协会），3639-3644.Crossref，谷歌学者·doi:10.1190/segam2013-1143.1
[28] Farias VF，Li AA（2019）《学习偏好与侧面信息》。管理科学。65（7）：3131-3149.Link，谷歌学者
[29] Gandy S，Recht B，Yamada I（2011）张量补全和通过凸优化恢复低阶张量。反问题27（2）：025010.谷歌学者交叉引用·Zbl 1211.15036号 ·doi:10.1088/0266-5611/27/2/025010
[30] Ge R，Ma T（2017）关于张量分解的优化前景。von Luxburg U、Guyon I、Bengio S、Wallach H、Fergus R编辑高级神经信息。处理系统31（纽约州Red Hook市Curran Associates），3653-3663.谷歌学者
[31] Ge R，Huang F，Jin C，Yuan Y（2015）逃离鞍点：张量分解的在线随机梯度。程序。第28届Conf.Learning Theory，巴黎，797-842年7月3-6日。谷歌学者
[32] Gilboa D、Buchanan S、Wright J（2018）《梯度下降的高效词典学习》。9月27日提交的预印本，https://arxiv.org/abs/1809.10313.谷歌学者
[33] Goldfarb D，Qin Z（2014）稳健低阶张量恢复：模型和算法。SIAM J.矩阵分析。申请。35（1）：225-253.Crossref，谷歌学者·Zbl 1296.65086号 ·doi:10.1137/130905010
[34] Gross D（2011）从任何基础上的少数系数中恢复低秩矩阵。IEEE传输。通知。理论57（3）：1548-1566.Crossref，谷歌学者·Zbl 1366.94103号 ·doi:10.1109/TIT.2011.2104999
[35] Hao B，Zhang A，Cheng G（2020）通过三次绘制的稀疏和低秩张量估计。IEEE传输。通知。理论66（9）:5927-5964.Crossref，谷歌学者·Zbl 1448.62072号 ·doi:10.1109/TIT.2020.2982499
[36] Hao B，Wang B，Wang P，Zhang J，Yang J，Sun WW（2019）稀疏张量加性回归。3月31日提交，https://arxiv.org/abs/1904.00479.谷歌学者
[37] Hillar CJ，Lim LH（2013）大多数张量问题都是np-hard问题。美国临床医学杂志60（6）：45.Crossref，谷歌学者·Zbl 1281.68126号 ·doi:10.1145/2512329
[38] Hopkins SB，Schramm T，Shi J，Steurer D（2016）平方和证明的快速谱算法：张量分解和种植稀疏向量。第48届ACM年度交响曲。理论计算。（ACM，纽约），178-191年，谷歌学者·Zbl 1377.68199号
[39] Huang B，Mu C，Goldfarb D，Wright J（2015）稳健低阶张量完备的可证明模型。Pacific J.Optim公司。11（2）：339-364.谷歌学者·Zbl 1323.15019号
[40] Jain P，Oh S（2014）缺失数据的可证明张量因式分解。Ghahramani Z、Welling M、Cortes C、Lawrence N、Weinberger KQ编辑。高级神经信息。处理系统27（Curran Associates，Red Hook，NY），1431-1439年。谷歌学者
[41] 季天勇，黄天智，赵XL，马TH，刘G（2016）使用总变差和低秩矩阵分解的张量补全。通知。科学。326:243-257.Crossref，谷歌学者·Zbl 1387.94038号 ·doi:10.1016/j.ins.2015.07.049
[42] Kasai H，Mishra B（2016）低秩张量补全：黎曼流形预处理方法。Balcan MF，Weinberger KQ编辑，Proc。第33届国际。Conf.Machine Learning，纽约，1012-1021年6月20日至22日。谷歌学者
[43] Keshavan RH，Montanari A，Oh S（2010a），完成了几个条目的矩阵。IEEE传输。通知。理论56（6）：2980-2998.Crossref，谷歌学者·Zbl 1366.62111号 ·doi:10.10109/TIT.2010.2046205
[44] Keshavan RH，Montanari A，Oh S（2010年b），噪声入口的矩阵完成。J.机器学习。物件。11（69）：2057-2078谷歌学者·Zbl 1242.62069号
[45] Kilmer ME，Braman K，Hao N，Hoover RC（2013）《作为矩阵算子的三阶张量：成像应用的理论和计算框架》。SIAM J.矩阵分析。申请。34（1）：148-172.Crossref，谷歌学者·Zbl 1269.65044号 ·数字对象标识代码：10.1137/10837711
[46] Kim HJ，Ollila E，Koivunen V，Croux C（2013）张量分解的稳健和稀疏估计。程序。2013 IEEE全球Conf.信号通知。处理（IEEE，新泽西州皮斯卡塔韦），965-968.谷歌学者
[47] Kolda TG（2001）正交张量分解。SIAM J.矩阵分析。申请。23（1）：243-255.Crossref，谷歌学者·Zbl 1005.15020号 ·doi:10.1137/S0895479800368354
[48] Kolda TG，Bader BW（2009）张量分解和应用。SIAM版本。51（3）：455-500.Crossref，谷歌学者·Zbl 1173.65029号 ·doi:10.1137/07070111X
[49] Kreimer N，Stanton A，Sacchi MD（2013）基于核范数最小化的张量补全，用于5d地震数据重建。地球物理学78（6）：273-284.Crossref，谷歌学者·doi:10.1190/geo2013-0022.1
[50] Krishnamurthy A，Singh A（2013）通过自适应采样完成低秩矩阵和张量。Burges CJC、Bottou L、Welling M、Ghahramani Z、Weinberger KQ编辑。高级神经信息。处理系统26（纽约州Red Hook市Curran Associates），836-844.谷歌学者
[51] Li Q，Tang G（2017）对称张量因子分解的凸和非凸几何。程序。第51届Asilomar Conf.信号系统计算。（IEEE，新泽西州皮斯卡塔韦），305-309。谷歌学者
[52] Li X，Ye Y，Xu X（2017）视觉数据修复的低库张量补全与总变化。Singh S、Markovitch S编辑。第31届AAAI人工智能大会（AAAI出版社，旧金山），2210-2216。谷歌学者
[53] Li Q，Zhu Z，Tang G（2019）低秩矩阵优化的非凸几何。通知。推断8（1）：51-96.Crossref，谷歌学者·Zbl 1476.90245号 ·doi:10.1093/imaiai/iay003
[54] Liu J，Musialski P，Wonka P，Ye J（2013）估计视觉数据中缺失值的张量补全。IEEE传输。模式分析。机器智能35（1）：208-220.谷歌学者Crossref·doi:10.1109/TPAMI.2012.39
[55] Liu Y，Shang F，Cheng H，Cheng J，Tong H（2014）低秩张量补全的因子矩阵迹范数最小化。Zaki M、Obradovic Z、Tan PN、Banerjee A、Kamath C、Parthasarathy S编辑。2014 SIAM国际。Conf.数据挖掘（费城SIAM），866-874.谷歌学者
[56] Lounici K（2014）缺失观测值的高维协方差矩阵估计。伯努利20（3）：1029-1058.Crossref，谷歌学者·Zbl 1320.62124号 ·文件编号：10.3150/12-BEJ487
[57] Lu C，Feng J，Chen Y，Liu W，Lin Z，Yan S（2016）张量鲁棒主成分分析：通过凸优化精确恢复受损的低秩张量。程序。IEEE会议计算。视觉模式识别（IEEE，新泽西州皮斯卡塔韦），5249-5257.谷歌学者
[58] Ma C，Wang K，Chi Y，Chen Y（2017）非凸统计估计中的隐式正则化：梯度下降在相位恢复、矩阵补全和盲反褶积中线性收敛。基础计算。数学。20:451-463.Crossref，谷歌学者·Zbl 1445.90089 ·doi:10.1007/s10208-019-09429-9
[59] MišićVV，Perakis G（2020）《运营管理中的数据分析：综述》。制造服务运营。管理22（1）：158-169链接，谷歌学者
[60] Montanari A，Sun N（2018）张量补全的谱算法。普通纯应用程序。数学。71（11）：2381-2425.Crossref，谷歌学者·Zbl 1404.15023号 ·doi:10.1002/cpa.21748
[61] Mu C，Huang B，Wright J，Goldfarb D（2014）平方协议：张量恢复的下限和改进松弛。Xing EP，Jebara T编辑，Proc。第31届国际。Conf.Machine Learning，北京，6月22-24日，73-81。谷歌学者
[62] Pananjady A，Wainwright MJ（2019）实例依赖ℓ∞-策略评估的边界。9月19日提交的预印本，https://arxiv.org/abs/1909.08749谷歌学者
[63] Pawlowski C（2019）针对缺失和不确定数据问题的机器学习及其在个性化医学中的应用。麻省理工学院未发表的博士论文。谷歌学者
[64] Potechin A，Steurer D（2017），带平方和的精确张量补全。Kale S，Shamir O编辑，Proc。2017 Conf.Learning Theory，阿姆斯特丹，1619-1673年7月7日至10日。谷歌学者
[65] Rauhut H，Schneider R，Stojanac（2017）通过迭代硬阈值法恢复低秩张量。线性代数应用。523:220-262.Crossref，谷歌学者·Zbl 1372.65130号 ·doi:10.1016/j.laa.2017.02.028
[66] Richard E，Montanari A（2014）张量主成分分析的统计模型。Ghahramani Z、Welling M、Cortes C、Lawrence ND、Weinberger KQ编辑高级神经信息。处理，系统27（纽约州Red Hook市Curran Associates），2897-2905.谷歌学者
[67] Romera--Paredes B，Pontil M（2013）张量完备的新凸松弛。Burges CJC、Bottou L、Welling M、Ghahramani Z、Weinberger KQ编辑高级神经信息。处理系统26（Curran Associates，Red Hook，NY），2967-2975.谷歌学者
[68] Semerci O，Hao N，Kilmer ME，Miller EL（2014），基于张量的公式和多能量CT的核规范正则化。IEEE传输。图像处理23（4）：1678-1693.Crossref，谷歌学者·Zbl 1374.94335号 ·doi:10.1109/TIP.2014.2305840
[69] Shah D，Yu CL（2019）用于稀疏噪声张量估计的迭代协作滤波。预印本，于年月日提交，https://arxiv.org/abs/1908.01241.谷歌学者
[70] Sidiropoulos ND，De Lathauwer L，Fu X，Huang K，Papalexakis EE，Faloutsos C（2017）信号处理和机器学习的张量分解。IEEE传输。信号处理65（13）：3551-3582.Crossref，谷歌学者·Zbl 1415.94232号 ·doi:10.1109/TSP.2017.2690524
[71] Soroushmehr SR，Najarian K（2016）将大数据转换为个性化医疗保健的计算模型。临床神经科学对话18（3）：339-343.Crossref，谷歌学者·doi:10.31887/DCNS.2016.18.3/索卢什米尔
[72] Steinechner M（2016）高维张量补全的黎曼优化。SIAM J.科学。计算。38（5）:S461-S484.Crossref，谷歌学者·Zbl 1352.65129号 ·doi:10.1137/15M1010506
[73] Sun R，Luo ZQ（2016）通过非凸分解保证矩阵完成。IEEE传输。通知。理论62（11）：6535-6579.Crossref，谷歌学者·Zbl 1359.94179号 ·doi:10.1009/TIT.2016.259854
[74] 孙WW，卢J，刘H，程G（2017）可证明稀疏张量分解。J.皇家统计师。Soc.序列号。B.统计。方法79（3）：899-916.Crossref，谷歌学者·Zbl 1411.62158号 ·doi:10.1111/rssb.12190
[75] Tan YS，Vershynin R（2019）具有任意初始化的在线随机梯度下降解决了非光滑、非凸的相位恢复。10月28日提交的预印本，https://arxiv.org/abs/1910.12837.谷歌学者
[76] Tang G，Shah P（2015）保证张量分解：矩方法。巴赫F，布莱D编辑。第32届国际。Conf.机器学习，法国里尔，1491-1500年7月7-9日。谷歌学者
[77] Tomioka R，Hayashi K，Kashima H（2010）通过凸优化估计低阶张量。10月5日提交的预印本，https://arxiv.org/abs/1010.0789.谷歌学者
[78] Wang W，Aggarwal V，Aeron S（2016）张量列（TT）模型下通过交替最小化完成张量。9月19日提交的预印本，https://arxiv.org/abs/1609.05587谷歌学者
[79] Xia D，Yuan M（2017）关于精确低秩张量补全的多项式时间方法。预印本，2月22日提交，https://arxiv.org/abs/1702.06980谷歌学者
[80] Xia D，Yuan M，Zhang CH（2017）从噪声条目中统计最优和计算高效的低秩张量完成。预印本，提交日期：，https://arxiv.org/abs/1711.04934谷歌学者
[81] Xu Y，Yin W（2013）正则化多凸优化的块坐标下降方法及其在非负张量分解和完备化中的应用。SIAM J.成像科学。6（3）：1758-1789。Crossref，谷歌学者·Zbl 1280.49042号 ·数字对象标识代码：10.1137/120887795
[82] Xu Y，Hao R，Yin W，Su Z（2015）低阶张量补全的并行矩阵分解。反问题成像9（2）：601-624.Crossref，谷歌学者·Zbl 1359.15021号 ·doi:10.3934/ipi.2015.9.601
[83] Yao Q（2018）带非凸正则化的可伸缩张量补全。预印本，7月23日提交，https://arxiv.org/abs/1807.08725v1.谷歌学者
[84] Yi X，Park D，Chen Y，Caramanis C（2016）通过梯度下降实现鲁棒PCA的快速算法。Lee D、Sugiyama M、Luxburg U、Guyon I、Garnett R编辑。高级神经信息。处理系统29（纽约州Red Hook市Curran Associates），4152-4160.谷歌学者
[85] Ying J，Lu H，Wei Q，Cai JF，Guo D，Wu J，Chen Z，Qu X（2017）n维指数信号的Hankel矩阵核范数正则张量补全。IEEE传输。信号处理65（14）：3702-3717.Crossref，谷歌学者·Zbl 1414.94713号 ·doi:10.1109/TSP.2017.2695566
[86] 袁M，张驰（2016）关于核范数极小化的张量完备问题。已找到。计算。数学。16（4）：1031-1068.Crossref，谷歌学者·兹比尔1378.90066 ·doi:10.1007/s10208-015-9269-5
[87] 袁M，张驰（2017）非相干张量范数及其在高阶张量补全中的应用。IEEE传输。通知。理论63（10）：6753-6766.Crossref，谷歌学者·Zbl 1391.94469号 ·doi:10.1109/TIT.2017.2724549
[88] Zhang A（2019）Cross:高效低秩张量补全。安。统计师。47（2）：936-964.Crossref，谷歌学者·Zbl 1416.62298号 ·doi:10.1214/18-AOS1694
[89] Zhang Z，Aeron S（2017）使用t-SVD的精确张量补全。IEEE传输。信号处理65（6）：1511-1526.Crossref，谷歌学者·Zbl 1414.94741号 ·doi:10.1109/TSP.2016.2639466
[90] Zhang A，Xia D（2018）Tensor SVD：统计和计算极限。IEEE传输。通知。理论64（11）:7311-7338.Crossref，谷歌学者·Zbl 1432.62176号 ·doi:10.1109/TIT.2018.2841377
[91] Zhong Y，Boumal N（2018）相位同步的近似最优界。SIAM J.Optim公司。28（2）：989-1016.谷歌学者交叉引用·兹比尔1396.90068 ·doi:10.1137/17M1122025
[92] Zoubir AM、Koivunen V、Ollila E、Muma M（2018）信号处理的稳健统计（英国剑桥大学出版社）。Crossref，谷歌学者·Zbl 1401.94003号 ·doi:10.1017/9781139084291
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。