×
埃坦·莱文;乔·基列;尼古拉斯·博马尔

在有界秩矩阵上寻找驻点：一个几何障碍和一个平滑的补救方法。 （英语） 兹伯利07681267

数学。程序。 199，编号1-2（A），831-864（2023）.
摘要：我们考虑在有界秩矩阵的多样性上可证明地找到光滑函数的一个极小驻点的问题。这一点出乎意料地微妙。我们将困难追溯到一个几何障碍：在非光滑集上，可能存在一系列点，沿着这些点，平稳性的标准度量趋于零，但其极限点不是平稳的。我们命名这些事件启示录，因为它们可以使优化算法收敛到非平稳点。我们对已有的有界秩矩阵优化算法进行了明确的说明。为了证明找到平稳点，我们修改了一种基于标准光滑参数化的置信域方法。该方法依赖于已知的事实，即参数空间上的二阶驻点映射到驻点上的变化。我们的几何观测和提出的算法推广到了有界秩矩阵之外。我们给出了一般约束集上启示录的几何特征，这意味着克拉克正则集不承认启示录。这样的集合包括光滑流形、有边界的流形和凸集。我们的信任域方法支持通过任何完整的黎曼流形进行参数化。

引用于1审查
引用于三文件

理学硕士：

65K10码 数值优化和变分技术
49J53型 集值与变分分析
90C26型 非凸规划，全局优化
90立方厘米 数学规划中的最优性条件和对偶性

关键词：

低秩矩阵;奇异代数簇;黎曼优化;变分分析;克拉克规律;切线圆锥体;非光滑集;平稳性
PDF格式BibTeX公司 XML格式引用
\textit{E.Levin}等人，数学。程序。199，编号1--2（A），831--864（2023；Zbl 07681267）
全文： 内政部 arXiv公司

参考文献：

[1] 绝对值，P-A；贝克，CG；Gallivan，KA，黎曼流形上的信赖域方法，发现。计算。数学。，7, 3, 303-330 (2007) ·Zbl 1129.65045号 ·doi:10.1007/s10208-005-0179-9
[2] 绝对值，P-A；Mahony，R。；Sepulchre，R.，《矩阵流形上的优化算法》（2008），新泽西州普林斯顿：普林斯顿大学出版社，普林斯顿，新泽西·Zbl 1147.65043号 ·数字对象标识代码：10.1515/9781400830244
[3] 阿加瓦尔，N。；Boumal，N。；布林斯，B。；Cartis，C.，流形上立方的自适应正则化，数学。程序。，188, 1, 85-134 (2021) ·Zbl 1470.90087号 ·doi:10.1007/s10107-020-01505-1
[4] 理发师，RF；Ha，W.，具有非凸约束的梯度下降：局部凹度决定收敛，信息和推理：IMA期刊，7，4755-806（2018）·Zbl 1476.90251号 ·doi:10.1093/imaiai/iay002
[5] Bauschke，HH；组合，PL，希尔伯特空间中的凸分析和单调算子理论（2011），柏林：施普林格出版社，柏林·Zbl 1218.47001号 ·doi:10.1007/978-1-4419-9467-7
[6] Bendokat，T.，Zimmermann，R.，Absil，P.-A.：格拉斯曼流形手册：基本几何和计算方面。arXiv预印本arXiv:2011.13699（2020）
[7] Bi，Y.，Lavaei，J.：关于非线性低秩矩阵恢复问题中不存在伪局部极小值的问题。收录：A.Banerjee和K.Fukumizu，编辑，《第24届国际人工智能与统计会议论文集》，《机器学习研究论文集》第130卷，第379-387页。PMLR，13-15（2021年4月）
[8] Boumal，N.：光滑流形优化介绍。与剑桥大学出版社合作（2022年1月）·兹比尔1532.90001
[9] Boumal，N。；绝对值，P-A；Cartis，C.，流形上非凸优化的全局收敛速度，IMA J.Numer。分析。，39, 1, 1-33 (2018) ·Zbl 1483.65092号 ·doi:10.1093/imanum/drx080
[10] Cartis，C。；古尔德，N。；Toint，P.，无约束优化中二阶最优性的复杂性边界，J.Complex。，28, 1, 93-108 (2012) ·Zbl 1245.65063号 ·doi:10.1016/j.jco.2011.06.001
[11] FH克拉克；莱迪亚耶夫，YS；斯特恩，RJ；Wolenski，PR，非光滑分析与控制理论（2008），柏林：施普林格，柏林
[12] 柯蒂斯，F。；Lubberts，Z。；Robinson，D.，信赖域方法的简明复杂性分析，Optim。莱特。，12, 8, 1713-1724 (2018) ·Zbl 1412.90139号 ·doi:10.1007/s11590-018-1286-2
[13] 德拉特豪沃，L。；De Moor，B。；Vandewalle，J.，《多重线性奇异值分解》，SIAM J.矩阵分析。申请。，21, 4, 1253-1278 (2000) ·Zbl 0962.15005号 ·doi:10.1137/S0895479896305696
[14] Deutsch，FR，《内积空间的最佳逼近》（2012），柏林：施普林格出版社，柏林
[15] Ding，L.，Zhang，Y.，Chen，Y.：具有非二次损失的低秩矩阵恢复：投影梯度法和正则投影预言。arXiv预打印arXiv:2008.13777（2020）
[16] Dragomir，R.-A.，d'Aspremont，A.，Bolt，J.：低阶最小化的四次一阶方法。发表于《优化理论与应用杂志》，arXiv:1901.10791（2021）
[17] Du，S.S.，Jin，C.，Lee，J.D.，Jordan，M.I.，Singh，A.，Poczos，B.：梯度下降可能需要指数时间才能逃离鞍点。收录人：I.Guyon、U.V.Luxburg、S.Bengio、H.Wallach、R.Fergus、S.Vishwanathan和R.Garnett，《神经信息处理系统进展》编辑，第30卷。Curran Associates，Inc.（2017年）
[18] Gao，B.，Absil，P-A.：一种用于低秩矩阵补全的黎曼秩自适应方法。arXiv公司：2103.14768
[19] Gillis，N。；Glineur，F.，具有权重或缺失数据的低秩矩阵近似是NP-hard，SIAM J.matrix Anal。申请。，32, 4, 1149-1165 (2011) ·Zbl 1242.65077号 ·doi:10.1137/10820361
[20] 哈·W。；刘，H。；Foygel Barber，R.，秩约束临界点与低秩因子分解的等价性，SIAM J.Optim。，30, 4, 2927-2955 (2020) ·Zbl 1453.90127号 ·doi:10.1137/18M1231675
[21] Hackbusch，W.，张量空间和数值张量微积分（2012），柏林：施普林格出版社，柏林·Zbl 1244.65061号 ·数字对象标识代码：10.1007/978-3-642-28027-6
[22] 黑森，R。；Luke，DR，可行性问题基本算法的正则性和收敛性的非凸概念，SIAM J.Optim。，23, 4, 2397-2419 (2013) ·Zbl 1288.65094号 ·数字对象标识代码：10.1137/120902653
[23] 侯赛尼，S。；卢克博士；Uschmajew，A.，《低秩矩阵的切线和正圆锥》，45-53（2019），查姆：施普林格国际出版公司，查姆·Zbl 1417.15050号
[24] 侯赛尼，S。；Uschmajew，A.，代数变量的梯度抽样方法及其在非光滑低阶优化中的应用，SIAM J.Optim。，29, 4, 2853-2880 (2019) ·兹比尔1428.49015 ·doi:10.1137/17M1153571
[25] Hou，T.Y.，Li，Z.，Zhang，Z.：通过随机初始化的黎曼梯度下降实现低阶矩阵恢复的快速全局收敛。arXiv预印arXiv：2012.15467（2020）
[26] Hou，T.Y.，Li，Z.，Zhang，Z.：低秩矩阵流形上伪临界点的渐近逃逸。arXiv预打印arXiv:2107.09207（2021）
[27] Jain，P.，Tewari，A.，Kar，P.：关于高维M估计的迭代硬阈值方法。收录人：Z.Ghahramani、M.Welling、C.Cortes、N.Lawrence和K.Q.Weinberger，《神经信息处理系统进展》编辑，第27卷。Curran Associates，Inc.（2014年）
[28] Jia，X.，Kanzow，C.，Mehlitz，P.，Wachsmuth，G.：结构几何约束优化问题的增广拉格朗日方法。arXiv预打印arXiv:2105.08317（2021）
[29] Khrulkov，V。；Oseledets，I.，有界秩矩阵集的去角化，SIAM J.矩阵分析。申请。，39, 1, 451-471 (2018) ·Zbl 1453.65095号 ·doi:10.137/16M1108194
[30] Lee，JM，《光滑流形简介》（2012），柏林：施普林格出版社，柏林·Zbl 1258.53002号 ·doi:10.1007/9781-4419-9982-5
[31] Levin，E.，《朝向品种优化》（2020年），新泽西州普林斯顿：普林斯顿大学
[32] Levin，E.，Kileel，J.，Boumal，N.：在有界秩矩阵上寻找驻点：几何障碍和平滑补救方法。arXiv预打印arXiv:2107.03877（2021）
[33] 李，X-R；Song，W。；Xiu，N-H，秩约束矩阵优化的最优性条件，J.Oper。中国研究院。，7, 2, 285-301 (2019) ·Zbl 1438.90272号 ·doi:10.1007/s40305-019-00245-0
[34] 马，C。；李毅。；Chi，Y.，Beyond Procrustes:非对称低阶矩阵传感的无平衡梯度下降，IEEE Trans。信号处理。，69, 867-877 (2021) ·Zbl 07591387号 ·doi:10.1109/TSP.2021.3051425
[35] 米什拉，B。；梅耶，G。；Bonnabel，S。；Sepulchre，R.，固定秩矩阵分解和黎曼低秩优化，计算。统计，29，3-4，591-621（2014）·Zbl 1306.65107号 ·doi:10.1007/s00180-013-0464-z
[36] Olikier，G.，Absil，P.-A.：关于切线锥对行列式簇的连续性。卢浮大学UCL-INMA-2021.06技术报告（2021年4月）。访问日期：2021年5月·Zbl 1493.49021号
[37] Olikier，G.，Gallivan，K.A.，Absil，P.-A.：无启示的一阶低阶优化算法。arXiv预打印arXiv:2201.03962（2022）
[38] Oseledets，IV，张量-应变分解，SIAM J.Sci。计算。，33, 5, 2295-2317 (2011) ·Zbl 1232.15018号 ·doi:10.1137/090752286
[39] 帕克·D。；基里利迪斯，A。；Caramanis，C。；Sanghavi，S.，通过非凸矩阵分解找到低阶解，高效且可证明，SIAM J.Imag。科学。，11, 4, 2165-2204 (2018) ·Zbl 1419.90065号 ·doi:10.1137/17M1150189
[40] Rockafellar，RT公司；Wets，RJ-B，变分分析（2009），柏林：施普林格出版社，柏林
[41] Ruszczynski，A.，《非线性优化》（2006），新泽西州普林斯顿：普林斯顿大学出版社，新泽西普林斯顿·Zbl 1108.90001号 ·doi:10.1515/9781400841059
[42] 施耐德，R。；Uschmajew，A.，通过Łojasewicz不等式对各种低秩矩阵的投影线搜索方法的收敛结果，SIAM J.Optim。，25, 1, 622-646 (2015) ·Zbl 1355.65079号 ·doi:10.137/140957822
[43] Tan，M.，Tsang，I.W.，Wang，L.，Vandereycken，B.，Pan，S.J.：大基质回收的黎曼追求。摘自：机器学习国际会议，第1539-1547页（2014）
[44] Uschmajew，A.，Vandereycken，B.：线性搜索方法和低秩矩阵品种的秩增加。摘自：2014年非线性理论及其应用国际研讨会论文集（NOLTA2014），第52-55页（2014）
[45] Uschmajew，A.，Vandereycken，B.：贪婪的秩更新与黎曼下降法相结合，用于低秩优化。摘自：2015年国际抽样理论与应用会议（SampTA），第420-424页。IEEE（2015）
[46] Uschmajew，A。；Vandereycken，B.，关于二次低秩矩阵优化问题的临界点，IMA J.Numer。分析。，40, 4, 2626-2651 (2020) ·Zbl 1464.65042号 ·doi:10.1093/imanum/drz061
[47] Vandereycken，B.，通过黎曼优化完成低秩矩阵，SIAM J.Optim。，23, 2, 1214-1236 (2013) ·Zbl 1277.15021号 ·数字对象标识代码：10.1137/10845768
[48] Zhou，G.，Huang，W.，Gallivan，K.A.，Van Dooren，P.，Absil，P-A.：低秩优化的黎曼秩自适应方法。神经计算，192:72-80（2016）。人工神经网络、机器学习和计算智能的进展
[49] 朱，Z。；李强。；唐·G。；Wakin，MB，低秩矩阵优化中的全局优化，IEEE Trans。信号处理。，66, 13, 3614-3628 (2018) ·Zbl 1414.90297号 ·doi:10.1109/TSP.2018.2835403
此参考列表基于出版商或数字数学图书馆提供的信息。它的项目与zbMATH标识符启发式匹配，并且可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。