胡，江;安德烈·米尔扎雷克;Wen，Zaiwen先生;袁亚祥 黎曼优化的自适应二次正则化牛顿法。 （英语） Zbl 1415.65139号 SIAM J.矩阵分析。应用。 39，第3期，1181-1207（2018）. 摘要：黎曼流形优化在特征值计算、密度泛函理论、玻色-爱因斯坦凝聚、低秩最近相关、图像配准、信号处理等领域都有广泛的应用。我们提出了一种自适应二次正则化牛顿方法，该方法通过欧氏空间中的二阶泰勒展开逼近原始目标函数，但保持了黎曼流形约束。子问题目标函数中的正则化项使我们能够利用Cauchy-point类条件作为证明全局收敛性的标准信赖域方法。子问题可以通过一阶方法或执行相应的黎曼-牛顿型步骤来不精确地求解。在后一种情况下，我们可以进一步利用负曲率方向。在温和的条件下，保证了全局收敛和超线性局部收敛。大量的计算实验以及与其他先进方法的比较表明，该算法非常有前途。 引用于26文件 MSC公司： 65千5 数值数学规划方法 90C26型 非凸规划，全局优化 90 C55 连续二次规划型方法 2015财年65 矩阵特征值和特征向量的数值计算 关键词：黎曼优化;正则化;信任区域方法;不精确 软件：KSSOLV公司;马诺普特;ROPTLIB公司;阿达格拉德 PDF格式BibTeX公司 XML格式引用 \textit｛J.Hu｝等人，SIAM J.矩阵分析。申请。39，第3号，1181--1207（2018；Zbl 1415.65139） 全文： 内政部 arXiv公司 参考文献： [1] P.-A.Absil、C.G.Baker和K.A.Gallivan，黎曼流形上的信赖域方法，找到。计算。数学。，7（2007），第303–330页·Zbl 1129.65045号 [2] P.-A.Absil、R.Mahony和R.Sepulchre，矩阵流形上的优化算法，普林斯顿大学出版社，新泽西州普林斯顿，2008年·Zbl 1147.65043号 [3] P.A.Absil、R.Mahony和J.Trumpf，从外在角度看黎曼黑森《信息几何科学》，纽约斯普林格出版社，2013年，第361-368页·Zbl 1323.53014号 [4] P.-A.Absil和J.Malick，矩阵流形上的类投影收缩、SIAM J.Optim.、。，22（2012），第135–158页·Zbl 1248.49055号 [5] N.Agarwal、Z.Allen Zhu、B.Bullins、E.Hazan和T.Ma，比梯度下降更快地找到近似局部极小值，《第49届ACM SIGACT年度计算理论研讨会论文集》，ACM，纽约，2017年，第1195–1199页·Zbl 1369.68290号 [6] E.Birgin和J.Mart\inez，带三次下降条件的二次正则化在无约束优化中的应用、SIAM J.Optim.、。，27（2017），第1049–1074页·Zbl 1370.90260号 [7] N.Boumal、P.-A.Absil和C.Cartis，流形上非凸优化的全局收敛速度IMA J.数字。分析。，00（2018），第1-33页。 [8] N.Boumal、B.Mishra、P.-A.Absil和R.Sepulchre，Manopt，用于流形优化的Matlab工具箱，J.马赫。学习。Res.，15（2014），第1455-1459页·Zbl 1319.90003号 [9] R.H.Byrd、J.Nocedal和F.Oztoprak，L-1正则优化的非精确逐次二次逼近方法，数学。程序。，157（2016），第375-396页·兹比尔1342.49037 [10] Y.Carmon、J.C.Duchi、O.Hinder和A.Sidford，非凸优化的加速方法，预印本，2016年·Zbl 1400.90250号 [11] C.Cartis、N.I.M.Gould和P.L.Toint，无约束优化的自适应三次正则化方法。第一部分：动机、收敛性和数值结果，数学。程序。，127（2011），第245-295页·Zbl 1229.90192号 [12] H.Chen、Y.Sun、J.Gao、Y.Hu和B.Yin，黎曼流形上的快速优化算法及其在低阶学习中的应用《神经计算》，291（2018），第59-70页。 [13] F.E.Curtis和D.P.Robinson，在确定性和随机优化中利用负曲率，预印本，2017年。 [14] J.Duchi、E.Hazan和Y.Singer，在线学习和随机优化的自适应次梯度方法，J.马赫。学习。Res.，12（2011），第2121–2159页·兹比尔1280.68164 [15] A.Edelman、T.A.Arias和S.T.Smith，正交约束算法的几何，SIAM J.矩阵分析。申请。，20（1998年），第303-353页·Zbl 0928.6500号 [16] D.加贝，微分流形上可微函数的最小化，J.Optim。理论应用。，37（1982），第177-219页·Zbl 0458.90060号 [17] B.Gao、X.Liu、X.Chen和Y.Yuan，正交约束优化问题的一阶新框架、SIAM J.Optim.、。，28（2018），第302-332页·Zbl 1382.65171号 [18] N.I.M.Gould、S.Lucidi、M.Roma和P.L.Toint，在无约束优化的线搜索方法中利用负曲率方向，最佳。方法软件。，14（2000），第75-98页·Zbl 0988.90039号 [19] W.Huang、P.-A.Absil和K.A.Gallivan，一种黎曼对称秩一信赖域方法，数学。程序。，150（2015），第179-216页·Zbl 1314.65083号 [20] W.Huang、P.-A.Absil和K.A.Gallivan，非凸优化问题的黎曼BFGS方法，摘自《数值数学与高级应用ENUMATH 2015》，纽约斯普林格出版社，2016年，第627-634页·Zbl 1352.65153号 [21] W.Huang、P.-A.Absil、K.A.Gallivan和P.Hand，ROPTLIB：一个面向对象的黎曼流形优化C++库，技术报告FSU16-14.v2，佛罗里达州立大学，塔拉哈西，2016。 [22] W.Huang、K.A.Gallivan和P.-A.Absil，黎曼优化的Broyden类拟Newton方法、SIAM J.Optim.、。，25（2015），第1660–1685页·Zbl 1461.65156号 [23] B.Iannazzo和M.Porcelli，具有非单调线搜索和矩阵几何平均值计算的黎曼-Barzilai-Borwein方法IMA J.数字。分析。，38（2018），第495–517页·Zbl 1477.65096号 [24] B.Jiang和Y.-H.Dai，Stiefel流形优化的约束保持更新方案框架，数学。程序。，153（2015），第535-575页·Zbl 1325.49037号 [25] E.W.Karas、S.A.Santos和B.F.Svaiter，牛顿法二次正则化的代数规则，计算。最佳方案。申请。，60（2015年），第343–376页·Zbl 1309.90102号 [26] D.Kressner、M.Steinlechner和B.Vandereycken，基于黎曼优化的低秩张量补全，位数字。数学。，54（2014），第447-468页·Zbl 1300.65040号 [27] K.Kreutz-Delgado，复梯度算子与CR-演算, 2009. [28] J.D.Lee、Y.Sun和M.A.Saunders，最小化复合函数的近似牛顿型方法、SIAM J.Optim.、。，24（2014），第1420–1443页·兹比尔1306.65213 [29] J.Nocedal和S.J.Wright，数值优化第二版，《Springer运筹学和金融工程系列》，Springer，纽约，2006年·Zbl 1104.65059号 [30] S.Paternain、A.Mokhtari和A.Ribeiro，非凸优化的二阶方法，预印本，2017年。 [31] C.齐，黎曼流形的数值优化方法2011年，塔拉哈西佛罗里达州立大学博士论文。 [32] W.Ring和B.Wirth，黎曼流形的优化方法及其在形状空间中的应用、SIAM J.Optim.、。，22（2012），第596–627页·Zbl 1250.90111号 [33] S.T.Smith，黎曼流形的优化技术，字段Inst.Commun。，3（1994年），第113-136页·兹伯利0816.49032 [34] T.Steihaug，共轭梯度法与大规模优化中的信赖域，SIAM J.数字。分析。，20（1983年），第626–637页·兹比尔0518.65042 [35] C.乌德斯特，黎曼流形上的凸函数及其优化方法第297卷，施普林格科学与商业媒体，纽约，1994年·Zbl 0932.53003号 [36] M.Ulbrich、Z.Wen、C.Yang、D.Klo¨ckner和Z.Lu，集合密度泛函理论的近似梯度方法，SIAM J.科学。计算。，37（2015），第A1975–A2002页·Zbl 1325.65095号 [37] B.范德利肯，基于黎曼优化的低秩矩阵补全、SIAM J.Optim.、。，23（2013），第1214–1236页·Zbl 1277.15021号 [38] Z.Wen、A.Milzarek、M.Ulbrich和H.Zhang，用于电子结构计算的自适应正则化精确Hessian自洽场迭代，SIAM J.科学。计算。，35（2013年），第A1299–A1324页·兹比尔1273.82004 [39] Z.Wen和W.Yin，一种可行的正交性约束优化方法，数学。程序。，142（2013），第397-434页·Zbl 1281.49030号 [40] X.Wu、Z.Wen和W.Bao，计算玻色-爱因斯坦凝聚体基态的正则化牛顿方法，《科学杂志》。计算。，73（2017年），第303–329页·Zbl 1433.82025 [41] C.Yang、J.C.Meza、B.Lee和L.-W.Wang，KSSOLV-A求解Kohn-Sham方程的MATLAB工具箱，ACM变速器。数学。软质。，36（2009），第1-35页·Zbl 1364.65112号 [42] W.H.Yang、L.H.Zhang和R.Song，黎曼流形上非线性规划问题的最优性条件，太平洋J.Optim。，10（2014年），第415-434页·Zbl 1322.90096号 [43] 杨勇，黎曼流形上的全局收敛优化算法：无约束和约束优化的统一框架，J.Optim。理论应用。，132（2007），第245-265页·Zbl 1153.90017号 [44] H.Zhang和W.W.Hager，一种非单调线搜索技术及其在无约束优化中的应用、SIAM J.Optim.、。，14（2004），第1043-1056页·Zbl 1073.90024号 [45] X.Zhang、J.Zhu、Z.Wen和A.Zhou，电子结构计算的梯度型优化方法，SIAM J.科学。计算。，36（2014年），第C265–C289页·Zbl 1300.82006号 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。