×
泰勒·莫努；张腾；吉拉德·勒曼

非凸鲁棒子空间恢复的良好环境。 （英语） Zbl 1484.62063号

J.马赫。学习。物件。 20，第37号论文，59页（2019年）.
摘要：我们提出了一个用于鲁棒子空间恢复的非凸能量景观的数学分析。我们证明了在数据集上的确定条件下，一个子空间是指定邻域中唯一的平稳点和局部极小值。如果满足确定性条件，我们进一步证明了格拉斯曼流形上的测地梯度下降方法在适当初始化时可以准确地恢复潜在子空间。通过主成分分析的正确初始化是由一个简单的确定性条件保证的。在稍强的假设下，梯度下降法采用分段常数步长方案，实现了线性收敛。在一些数据统计模型上证明了确定性条件的实用性，并且该方法在不同样本大小和环境维度的情况下，实现了干草堆模型的几乎最先进的恢复保证。特别是，当环境尺寸为当样本量足够大且固定时，我们证明了我们的梯度方法可以准确地恢复任何固定分数的离群值（小于1）的潜在子空间。

引用于8文件

MSC公司：

62甲12 多元分析中的估计
62G35型 非参数稳健性
62H25个 因子分析和主成分；对应分析

关键词：

鲁棒子空间恢复；非凸优化；尺寸缩减；格拉斯曼优化
PDF格式BibTeX公司 XML格式引用
\textit｛T.Maunu｝等人，J.马赫。学习。第20号决议，第37号论文，59页（2019年；Zbl 1484.62063）
全文： arXiv公司 链接

参考文献：

[1] P.-A.Absil、R.Mahony和R.Sepulchre。格拉斯曼流形的黎曼几何与算法计算。《数学应用学报》，80（2）：199-222004·Zbl 1052.65048号
[2] P.-A.Absil、R.Mahony和R.Sepulchre。矩阵流形上的优化算法。普林斯顿大学出版社，2009年·Zbl 1147.65043号
[3] E.Arias-Castro和J.Wang。子空间恢复和子空间聚类的RANSAC算法。ArXiv电子版，2017年11月。
[4] E.Arias-Castro、G.Chen和G.Lerman。基于局部线性近似的谱聚类。电子。J.统计。，5:1537-1587, 2011. ·Zbl 1271.62132号
[5] S.Arora、R.Ge、T.Ma和A.Moitra。稀疏编码的简单、高效和神经算法。InCOLT，2015年。
[6] J.Baik、G.Ben Arous和S.P´ech´e。非零复样本协方差矩阵最大特征值的相变。概率年鉴，33（5）：1643-16972005·兹比尔1086.15022
[7] N.Boumal公司。非凸相位同步。SIAM优化杂志，26（4）：2355-23772016·Zbl 1356.90111号
[8] E.J.Cand’es、X.Li、Y.Ma和J.Wright。稳健的主成分分析？美国医学会杂志（JACM），58（3）：2011年11月·Zbl 1327.62369号
[9] Y.Cherapanamjeri、P.Jain和P.Netrapalli。基于阈值的异常值鲁棒PCA。COLT，第593-628页，2017年。
[10] F.H.Clarke，《优化与非光滑分析》，第5卷。SIAM，1990年·Zbl 0696.49002号
[11] K.L.Clarkson和D.P.Woodruff。鲁棒子空间逼近的输入稀疏性和硬度。《计算机科学基础》（FOCS），2015年IEEE第56届年度研讨会，第310-329页。IEEE，2015年。
[12] M.Coudron和G.Lerman。关于鲁棒PCA的样本复杂度。InNIPS，第3221-3229页。2012
[13] S.Dasgupta和A.Gupta。约翰逊和林登斯特劳斯定理的初等证明。随机结构与算法，22（1）：60-652003·Zbl 1018.51010号
[14] Y.N.Dauphin、R.Pascanu、C.Gulcehre、K.Cho、S.Ganguli和Y.Bengio。识别和攻击高维非凸优化中的鞍点问题。《神经信息处理系统进展》，第2933-2941页，2014年。
[15] C.Davis和W.M.Kahan。扰动引起的特征向量的旋转。iii.SIAM J.《数值分析》，7:1-461970年·Zbl 0198.47201号
[16] 丁丙坤、周德华、何晓霞和查浩。R1-PCA：旋转不变量L1-形式主成分分析，用于鲁棒子空间分解。InICML，第281-288页。ACM，2006年。
[17] A.Edelman、T.A.Arias和S.T.Smith。具有正交约束的算法的几何结构。SIAM J.矩阵分析。申请。，20（2）：303-353（电子版），1999年。ISSN 08954798·Zbl 0928.6500号
[18] R.Ge、F.Huang、C.Jin和Y.Yuan。张量分解的在线随机梯度上逃离鞍点。InCOLT，第797-842页，2015年。
[19] R.Ge、J.D.Lee和T.Ma。矩阵完成没有虚假的局部极小值。InNIPS，第2973-2981页，2016年。
[20] J.Goes、T.Zhang、R.Arora和G.Lerman。稳健随机主成分分析。JMLR W&CP，第266274页，2014年。
[21] M·哈德。了解矩阵补全的交替最小化。InFOCS，第651-660页。IEEE，2014年。
[22] M.Hardt和A.Moitra。稳健子空间恢复的算法和难度。InCOLT，第354-375页，2013年。
[23] P.Jain、A.Tewari和P.Kar。关于高维m估计的迭代硬阈值方法。InNIPS，第685-693页，2014年。
[24] I.M.约翰斯通。关于主成分分析中最大特征值的分布。《统计年鉴》，第295-327页，2001年·Zbl 1016.62078号
[25] I.T.Jolliffe。主成分分析。统计学中的斯普林格系列。斯普林格，第二版，2002年·Zbl 1011.62064号
[26] Y.Ledyaev和Q.Zhu。光滑流形上的非光滑分析。美国数学学会学报，359（8）：3687-37322007·兹比尔1157.49021
[27] J.D.Lee、M.Simchowitz、M.I.Jordan和B.Recht。梯度下降只收敛到极小值。InCOLT，第1246-1257页，2016年。
[28] G.Lerman和T.Maunu。快速、稳健和非凸的子空间恢复。信息和推断：IMA杂志，7（2）：277-3362018a·Zbl 1476.90262号
[29] G.Lerman和T.Maunu。鲁棒子空间恢复概述。IEEE会议记录，106（8）：1380-14102018b。ISSN 0018-9219。doi:10.1109/JPROC.2018。2853141·Zbl 1476.90262号
[30] G.Lerman和T.Zhang。通过几何最小化实现多个子空间的稳健恢复。安.统计师。，39(5):2686-2715, 2011. ·兹比尔1232.62097
[31] G.Lerman和T.Zhang.lp-带离群值的多个子空间中最显著子空间的恢复。构造近似，40（3）：329-3852014·Zbl 1318.62161号
[32] G.Lerman、M.B.McCoy、J.A.Tropp和T.Zhang。通过凸松弛实现线性模型的稳健计算。计算数学基础，15（2）：363-4101015·Zbl 1328.62377号
[33] L.Lim、K.S.Wong和K.Ye。统计估计和仿射Grassmanin.arXiv预印本arXiv:160701833，2016。
[34] L.Lim，K.S.Wong，K.Ye。仿射子空间的格拉斯曼算子。arXiv预印本arXiv:1807.108832018·兹比尔1485.14096
[35] N.Locantore、J.S.Marron、D.G.Simpson、N.Tripoli、J.T.Zhang和K.L.Cohen。功能数据的稳健主成分分析。试验，8（1）：1-731999年·Zbl 0980.62049号
[36] L.-Z.Lu和C.E.M.Pearce。矩阵乘积的奇异值和特征值的一些新界。《运筹学年鉴》，98（1-4）：141-1482000·Zbl 0979.15017号
[37] C.Ma、K.Wang、Y.Chi和Y.Chen。非凸统计估计中的隐式正则化：梯度下降线性收敛，用于相位检索和矩阵完成。InPMLR，第80卷，第3345-3354页，2018年7月10-15日。
[38] R.A.马洛纳。基于稳健尺度的主成分和正交回归。《技术计量学》，47:264-2732005年。编号：1537-2723。
[39] R.A.Maronna、R.D.Martin和V.J.Yohai。稳健统计学：理论和方法。概率统计威利级数。约翰·威利父子公司，奇切斯特，2006年。国际标准图书编号978-0-470-01092-1；0-470-01092-4. ·邮编1094.62040
[40] T.Maunu和G.Lerman。具有逆流异常值的稳健子空间恢复。正在准备中·Zbl 1476.90262号
[41] M.McCoy和J.A Tropp。使用半定规划的鲁棒PCA的两个建议。《电子统计杂志》，5:1123-11602011年·Zbl 1329.62276号
[42] S.Mei、Y.Bai和A.Montanari。非凸损失的经验风险前景。《统计年鉴》，46（6A）：2747-27742018年·Zbl 1409.62117号
[43] S.Minsker。banach空间中的几何中值和稳健估计。伯努利，21（4）：2308-23352015·Zbl 1348.60041号
[44] M.Mitzenmacher和E.Upfal。概率和计算：随机算法和概率分析。剑桥大学出版社，2005年·兹比尔1092.60001
[45] P.Netrapalli、联合国Niranjan、S.Sanghavi、A.Anandkumar和P.Jain。非凸稳健PCA。InNIPS，第1107-1115页，2014年。
[46] M.R.Osborne和G.A.Watson。对可分范数中的全逼近问题进行了分析，并给出了全逼近问题的一个算法。SIAM科学与统计计算杂志，6（2）：410-4241985·Zbl 0581.41019号
[47] M.Rahmani和G.K.Atia。一致性追求：快速、简单、稳健的主成分分析。IEEE信号处理汇刊，65（23）：6260-62752016·Zbl 1415.94210号
[48] M.Rudelson和R.Vershynin。Littlewood-Offord问题与随机矩阵的可逆性。《数学进展》，218（2）：600-6332008。ISSN 0001-8708·Zbl 1139.15015号
[49] T.S–订单–。奇异值的扰动结果。乌普萨拉大学信息技术研究所，1999年。
[50] M.Soltanolkotabi和E.J.Cand’es。具有离群值的子空间聚类的几何分析。Ann.Stat.，40（4）：2195-22382012年。doi:10.1214/12-AOS1034·兹比尔1318.62217
[51] B.St.Thomas、L.Lin、L.Lim和S.Mukherjee。学习不同维的子空间。arXiv预印arXiv:1404.68412014。
[52] J.Sun、Q.Qu和J.Wright。在球体上完成字典恢复。在SAMPTA中，第407-410页，2015年5月a。
[53] J。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。