萨拉尔·法塔希;索马耶·索朱迪 精确保证非负秩-1稳健主成分分析不存在伪局部极小值。 （英语） Zbl 1499.62199号 J.马赫。学习。研究。 21，第59号论文，51页（2020年）. 摘要：这项工作与非负秩-1稳健主成分分析（RPCA）有关，其目标是精确恢复数据矩阵的主要非负主成分，其中许多测量值可能被稀疏和任意大噪声严重破坏。大多数已知的求解RPCA的方法都依赖于凸松弛方法，将问题提升到更高的维数，从而显著增加了变量的数量。另一种方法是，著名的Burr-Monteiro方法可用于将RPCA转化为一个变量数量明显较少的非凸非光滑优化问题。在这项工作中，我们证明了基于Burr-Monteiro方法的对称和非对称正秩-1 RPCA的低维公式具有良好的前景，即：1）它没有任何虚假的局部解，2）有唯一的全局解，3）它的唯一全局解与真分量一致。这一结果的含义是，当直接应用于低维公式时，简单的局部搜索算法可以保证实现零全局最优性差距。此外，我们为准确恢复真实主成分提供了强大的确定性和概率保证。特别是，研究表明，测量值的常数部分可能会严重损坏，但它们不会产生任何虚假的局部解。 引用于2文件 MSC公司： 62H25个 因子分析和主成分；对应分析 关键词：PCA公司;优化;噪音 软件：GradSamp公司 PDF格式BibTeX公司 XML格式引用 \textit{S.Fattahi}和\textit{S.Sojoudi}，J.Mach。学习。第21号决议，第59号文件，第51页（2020年；兹bl 1499.62199） 全文： arXiv公司 链接 参考文献： [1] 弗朗西斯·巴赫。用凸神经网络打破维数的魔咒。《机器学习研究杂志》，18（19）：1-532017·Zbl 1433.68390号 [2] Srinadh Bhojanapalli、Behnam Neyshabur和Nati Srebro。低秩矩阵恢复局部搜索的全局最优性。《神经信息处理系统进展》，第3873-3881页，2016年。 [3] L´eon Bottou、Frank E Curtis和Jorge Nocedal。大规模机器学习的优化方法。SIAM评论，60（2）：223-31112018·Zbl 1397.65085号 [4] 纳亚玛·布伦纳（Naama Brenner）、威廉·比亚莱克（William Bialek）和罗伯·德鲁伊特·范·史蒂文宁克（Rob de Ruyter Van Stevenick）。自适应缩放使信息传输最大化。神经元，26（3）：695-7022000。 [5] Samuel Burer和Renato DC Monteiro。通过低秩分解求解半定规划的非线性规划算法。数学规划，95（2）：329-3572003·Zbl 1030.90077号 [6] James V Burke、Adrian S Lewis和Michael L Overton。用于非光滑、非凸优化的鲁棒梯度采样算法。SIAM优化杂志，15（3）：751-7792005·Zbl 1078.65048号 [7] Emmanuel J Candes和Terence Tao。通过线性规划进行解码。IEEE信息理论学报，51（12）：4203-42152005·Zbl 1264.94121号 [8] Emmanuel J Candes、Justin K Romberg和Terence Tao。从不完整和不准确的测量中恢复稳定的信号。《纯粹数学和应用数学交流：Courant数学科学研究所出版的期刊》，59（8）：1207-12232006·邮编1098.94009 [9] 伊曼纽尔·坎迪斯、李晓东、马毅和约翰·赖特。稳健的主成分分析？美国医学会杂志（JACM），58（3）：2011年11月·Zbl 1327.62369号 [10] 阿尔文德·卡普里汉（Arvind Caprihan）、戈弗雷·德·皮尔森（Godfrey D Pearlson）和文森特·德·卡尔霍恩（Vincent D Calhoun）。基于分数各向异性测量的主成分分析在区分精神分裂症患者和健康对照组中的应用。神经影像，42（2）：675-6822008。 [11] 文卡特·钱德拉塞卡兰（Venkat Chandrasekaran）、苏杰·桑哈维（Sujay Sanghavi）、巴勃罗·帕里罗（Pablo A Parrilo）和艾伦·S·威尔斯基（Alan S Willsky）。矩阵分解的秩稀疏不相干。SIAM优化杂志，21（2）：572-5962011·Zbl 1226.90067号 [12] 罗宾·查尼和艾伦·戈尔茨坦。次梯度方法的推广。非平滑优化，第51-70页，1978年·Zbl 0415.90073号 [13] 池月杰、陆月明和陈玉欣。非凸优化满足低秩矩阵分解：概述。IEEE信号处理汇刊，67（20）：5239-52692019·Zbl 07123429号 [14] Andrzej Cichocki、Rafal Zdunk、Anh Huy Phan和Shun-ichi Amari。非负矩阵和张量因子分解：在探索性多路数据分析和盲源分离中的应用。John Wiley&Sons，2009年。 [15] 弗兰克·H·克拉克（Frank H Clarke），《优化与非光滑分析》，第5卷。暹罗，1990年·Zbl 0696.49002号 [16] Rita Cucchiara、Costantino Grana、Massimo Piccardi和Andrea Prati。检测视频流中的移动对象、重影和阴影。IEEE关于模式分析和机器智能的交易，2003年。 [17] 崔莹、彭宗实和菩萨Sen.现代统计估计问题的复合差分-最大程序。SIAM优化杂志，28（4）：3344-33742018·Zbl 1407.62250号 [18] Frank E Curtis和Michael L Overton。用于非凸、非光滑约束优化的序列二次规划算法。SIAM优化杂志，22（2）：474-500，2012·兹比尔1246.49031 [19] 大卫·L·多诺霍。对于大多数大型欠定线性方程组，最小l1范数解也是最稀疏解。纯数学与应用数学交流，59（6）：797-8292006·Zbl 1113.15004号 [20] 苏珊·杜梅斯、约翰·普拉特、大卫·赫克曼和梅兰·萨哈米。文本分类的归纳学习算法和表示。第七届信息和知识管理国际会议记录，第148-155页。ACM，1998年。 [21] P Erd–os和A R´enyi。关于随机图i.Publ。数学。德布勒森，6:290-2971959·Zbl 0092.15705号 [22] 乔瓦尼·法萨诺（Giovanni Fasano）、吉安保罗·刘齐（Giampaolo Liuzzi）、斯特凡诺·卢西迪（Stefano Lucidi）和弗朗西斯科·里纳尔迪（Francesco Rinaldi）。一种基于线搜索的无导数非光滑约束优化方法。SIAM优化杂志，24（3）：959-9922014·Zbl 1302.90207号 [23] 荣戈、黄芙蓉、池瑾和杨元。逃离鞍点——张量分解的在线随机梯度。学习理论会议，第797-842页，2015年。 [24] Rong Ge、Jason D Lee和Tengyu Ma。矩阵完成没有虚假的局部最小值。《神经信息处理系统进展》，第2973-2981页，2016年。 [25] 荣戈、池进、易正。非凸低秩问题中无伪局部极小值：统一的几何分析。第1233-1242页，2017年。 [26] AA戈尔茨坦。lipschitz连续函数的优化。数学规划，13（1）：14-221977·Zbl 0394.90088号 [27] Alexander N Gorban、Bal´azs K´egl、Donald C Wunsch、Andrei Y Zinovyev等人，《数据可视化和降维的主要流形》，第58卷。施普林格，2008年·兹比尔1125.68003 [28] 顾全泉、王兆然和刘汉。通过交替最小化来追求低秩和稀疏结构。《人工智能与统计》，第600-609页，2016年。 [29] 诺拉·哈特斯菲尔德和格哈德·林格尔。图论中的珍珠：综合介绍。Courier Corporation，2013年·Zbl 0703.05001号 [30] 帕特里克·O·霍耶。稀疏约束下的非负矩阵分解。机器学习研究杂志，5（11月）：1457-14692004·Zbl 1222.68218号 [31] Daniel Hsu、Sham M Kakade和Tong Zhang。具有稀疏损坏的鲁棒矩阵分解。IEEE信息理论汇刊，57（11）：7221-72342011·Zbl 1365.15018号 [32] 约翰·赫尔和艾伦·怀特。定价利率衍生证券。《金融研究评论》，3（4）：573-5921990年·Zbl 1386.91152号 [33] 伊恩·乔利夫（Ian Jolliffe）。主成分分析。在国际统计科学百科全书中，第1094-1096页。施普林格，2011年。 [34] Cedric Josz、Yi Ouyang、Richard Zhang、Javad Lavaei和Somayeh Sojoudi。关于非凸非光滑优化无伪解的理论。2018年神经信息处理系统进展。 [35] 劳拉·拉泽罗尼和亚特·欧文。基因表达数据的格子模型。《中国统计》，第61-86页，2002年·Zbl 1004.62084号 [36] Daniel D Lee和H Sebastian Seung。通过非负矩阵分解学习对象的各个部分。《自然》，401（6755）：7881999年·Zbl 1369.68285号 [37] 小李、朱志辉、安东尼·曼乔·索和雷内·维达尔。非凸稳健低秩矩阵恢复。SIAM优化杂志，30（1）：660-6862020·Zbl 07175265号 [38] 姚马、亚历山大·奥尔舍夫斯基、Csaba Szepesvari和Venkatesh Saligrama。稀疏交互工人众源聚集稀疏秩一矩阵完备的梯度下降。2018年国际机器学习会议，第3341-3350页。 [39] Ramtin Madani、Mohsen Kheirandishfard、Javad Lavaei和Alper Atamt¨urk。基于惩罚圆锥松弛的多项式优化，2018年。统一资源定位地址http://www.uta.edu/教师/madanir/poly_conic.pdf。 [40] Igor Molybog、Ramtin Madani和Javad Lavaei。稳健二次回归的二次曲线优化：确定性界和统计分析。IEEE第57届决策与控制会议，2018年。 [41] 安德烈亚·蒙塔纳里（Andrea Montanari）和埃米尔·理查德（Emile Richard）。非负主成分分析：消息传递算法和尖锐渐近。IEEE信息理论汇刊，62（3）：1458-14842016·Zbl 1359.62224号 [42] Praneeth Netrapalli、UN Niranjan、Sujay Sanghavi、Animashere Anandkumar和Pratek Jain。非凸稳健主成分分析。《神经信息处理系统进展》，第1107-1115页，2014年。 [43] 马特·奥法特和阿尼尔·阿斯瓦尼。计算公平支持向量机的谱算法。2018年国际人工智能与统计会议。 [44] 任斌（Bin Ren）、劳伦特·普约（Laurent Pueyo）、朱光屯（Guangtun Ben Zhu）、约翰·戴布斯（John Debes）和加斯帕德·德希内（Gaspard Duchˆene）。非负矩阵分解：扩展结构的稳健提取。《天体物理学杂志》，852（2）：1042018。 [45] 艾尔·萨尔蒂科夫。随机二部图中的组件数。离散数学与应用，5（6）：515-5241995。 [46] Ali Sharif Razavian、Hossein Azizpour、Josephine Sullivan和Stefan Carlsson。Cnn的特点是离线：令人震惊的识别基线。2014年IEEE计算机视觉和模式识别研讨会会议记录，第806-813页。 [47] Ju Sun、Qing Qu和John Wright。球体上的完整字典恢复i：概述和几何图形。IEEE信息理论汇刊，63（2）：853-8842017·Zbl 1364.94164号 [48] Ju Sun、Qing Qu和John Wright。相位恢复的几何分析。计算数学基础，18（5）：1131-11982018·Zbl 1401.94049号 [49] Kentaro Toyama、John Krumm、Barry Brumitt和Brian Meyers。墙花：背景维护的原则和实践。InComputer Vision，1999年。第七届IEEE国际会议记录，第1卷，第255-261页。IEEE，1999年。 [50] John Wright、Arvind Ganesh、Shankar Rao、Yigang Peng和Yi Ma。稳健主成分分析：通过凸优化精确恢复损坏的低秩矩阵。神经信息处理系统进展，第2080-2088页，2009年。 [51] 信阳易、东亨公园、陈玉东和康斯坦丁·卡拉马尼斯。基于梯度下降的鲁棒主成分分析快速算法。《神经信息处理系统进展》，第4152-41602016页。 [52] Richard Zhang、Salar Fattahi和Somayeh Sojoudi。通过阈值和最大det矩阵完成的大规模稀疏逆协方差估计。在国际机器学习会议上，第5761-5770页，2018a。 [53] Richard Y Zhang、C'edric Josz、Somayeh Sojoudi和Javad Lavaei。非凸矩阵恢复需要多少受限等距？神经信息处理系统进展，2018b。 [54] 张晓，王凌霄，余耀东，顾全全。非凸低秩矩阵恢复中全局最优性的原对偶分析。在机器学习国际会议上，第5857-58662018c页。 [55] Xiao Zhang、Lingxiao Wang Wang和Quanquan Gu。非凸低秩加稀疏矩阵恢复的统一框架。国际人工智能与统计会议，2018年d。 [56] 郑庆庆（Qinqing Zheng）和约翰·拉弗蒂（John Lafferty）。使用burr-monteiro分解和梯度下降法对矩形矩阵补全的收敛性分析。arXiv预印本arXiv:1605.070512016。 [57] 周子汉、李晓东、约翰·赖特、伊曼纽尔·坎迪斯和马毅。稳定的主成分追求。2010年IEEE信息理论国际研讨会，第1518-1522页。IEEE，2010年。 [58] 朱志慧、李秋伟、唐功国和迈克尔·沃金。低秩矩阵优化中的全局最优性。2017年IEEE信号和信息处理全球会议（GlobalSIP），第1275-1279页。IEEE，2017年·Zbl 1414.90297号 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。