佐藤、弘毅 黎曼共轭梯度法：一般框架和具体算法及收敛性分析。 （英语） Zbl 1506.65079号 SIAM J.优化。 32，第4期，2690-2717（2022）。 摘要：共轭梯度法是欧氏空间和黎曼流形上重要的一阶优化算法。然而，虽然在欧几里德空间中研究了各种类型的共轭梯度方法，但对黎曼流形上的共轭梯度法（即黎曼共轭梯度法）的研究相对较少。本文提出了一个新的通用框架，它统一了现有的黎曼共轭梯度法，例如利用向量传输或逆收缩的方法。拟议框架还开发了以前研究中未涉及的其他方法。此外，还阐明了该框架中一类算法的收敛条件。此外，还广泛分析了几种特定类型算法的全局收敛性。该分析为某些算法提供了比现有研究和其他算法的新发展更为一般的理论结果。通过数值实验验证了理论结果的有效性。实验结果用于比较所提框架中几种特定算法的性能。 引用于6文件 MSC公司： 65千5 数值数学规划方法 65J99型 抽象空间中的数值分析 90立方 非线性规划 90立方厘米 抽象空间中的程序设计 关键词：共轭梯度法;黎曼优化;黎曼流形;矢量传输;反向回缩 软件：马诺普特;皮曼诺普;疯子;杂交rcg PDF格式BibTeX公司 XML格式引用 \textit{H.佐藤}，SIAM J.Optim。32，编号4，2690--2717（2022年；兹bl 1506.65079） 全文： 内政部 arXiv公司 参考文献： [1] P.-A.Absil、C.G.Baker和K.A.Gallivan，黎曼流形上的信赖域方法，Found。计算。数学。，7（2007），第303-330页·Zbl 1129.65045号 [2] P.-A.Absil和S.Hosseini，非光滑黎曼优化问题集，《非光滑优化及其应用》，Springer，纽约，2019年，第1-15页·Zbl 1423.49012号 [3] P.-A.Absil、R.Mahony和R.Sepulchre，《矩阵流形上的优化算法》，普林斯顿大学出版社，新泽西州普林斯顿，2008年·Zbl 1147.65043号 [4] P.-A.Absil和J.Malick，矩阵流形上的类投影收缩，SIAM J.Optim。，22（2012），第135-158页·Zbl 1248.49055号 [5] P.-A.Absil和I.V.Oseledets，《低水位回缩：调查和新结果》，计算。最佳方案。申请。，62（2015），第5-29页·Zbl 1334.90202号 [6] R.L.Adler、J.-P.Dedieu、J.Y.Margulies、M.Martens和M.Shub，关于黎曼流形的牛顿方法和人类脊椎的几何模型，IMA J.Numer。分析。，22（2002），第359-390页·Zbl 1056.92002号 [7] N.Andrei，《无约束优化的40种共轭梯度算法》。《关于其定义的调查》，技术报告，ICI，2008年。 [8] N.Andrei，无约束优化的非线性共轭梯度法，Springer，2020年·Zbl 1514.90250号 [9] M.Bacaík、R.Bergmann、G.Steidl和A.Weinmann，用于恢复流形值图像的二阶非光滑变分模型，SIAM J.Sci。计算。，38（2016），第A567-A597页·Zbl 1382.94007号 [10] T.Bendokat和R.Zimmermann，Stiefel流形上的有效拟测地线，《信息几何科学国际会议》，施普林格，纽约，2021年，第763-771页·Zbl 1493.53073号 [11] G.d.C.Bento，J.X.da Cruz Neto和L.V.de Meireles，Hadamard流形多目标优化中局部Lipschitz函数的近点方法，J.Optim。理论应用。，179（2018），第37-52页·Zbl 1409.90165号 [12] R.Bergmann，Manopt.jl：Julia流形优化，J.开源软件，7（2022），3866。 [13] R.Bergmann、R.Herzog、M.Silva Louzeiro、D.Tenbrinck和J.Vidal-Nuín͂ez，Fenchel对偶理论和黎曼流形上的原对偶算法，Found。计算。数学。，21（2021），第1465-1504页·兹比尔07458819 [14] R.Bergmann和A.Weinmann，《使用一阶和二阶差分绘制循环数据》，摘自《计算机视觉和模式识别中的能量最小化方法国际研讨会》，纽约斯普林格出版社，2015年，第155-168页。 [15] R.Bhatia，正定矩阵，普林斯顿州立大学。申请。数学。24，普林斯顿大学出版社，新泽西州普林斯顿，2009年·Zbl 1321.15003号 [16] S.Bonnabel，黎曼流形上的随机梯度下降，IEEE Trans。自动化。对照，58（2013），第2217-2229页·Zbl 1369.90110号 [17] N.Boumal，《光滑流形优化导论》，剑桥大学出版社出版，http://www.nicolasboumal.net/book。 ·Zbl 1532.90001号 [18] N.Boumal、B.Mishra、P.-A.Absil和R.Sepulchre、Manopt，歧管优化的Matlab工具箱，J.Mach。《学习研究》，第15卷（2014年），第1455-1459页·Zbl 1319.90003号 [19] S.Chen，S.Ma，A.M.C.So，T.Zhang，Stiefel流形上非光滑优化的近似梯度法，SIAM J.Optim。，30（2020），第210-239页·Zbl 1434.90195号 [20] 戴永华，袁永元，一种具有强全局收敛性的非线性共轭梯度法，SIAM J.Optim。，10（1999），第177-182页·Zbl 0957.65061号 [21] 戴永华，袁永元，无约束优化的一种有效的混合共轭梯度法，Ann.Oper。研究，103（2001），第33-47页·Zbl 1007.90065号 [22] A.Edelman、T.A.Arias和S.T.Smith，具有正交约束的算法几何，SIAM J.矩阵分析。申请。，20（1998年），第303-353页·Zbl 0928.6500号 [23] A.Edelman和S.T.Smith，《关于特征类问题的共轭梯度类方法》，BIT，36（1996），第494-508页·Zbl 0856.65037号 [24] O.P.Ferreira、M.S.Louzeiro和L.F.Prudente，黎曼流形上多目标优化最速下降法的迭代复杂性和渐近分析，J.Optim。理论应用。，184（2020），第507-533页·Zbl 1432.90137号 [25] R.Fletcher，《实用优化方法》，John Wiley&Sons，纽约，2013年·Zbl 0905.65002号 [26] R.Fletcher和C.M.Reeves，共轭梯度函数最小化，计算。J.，7（1964），第149-154页·Zbl 0132.11701号 [27] B.Gao和P.-A.Absil，低秩矩阵补全的黎曼秩自适应方法，计算。最佳方案。申请。，81（2022），第67-90页·Zbl 1484.90110号 [28] B.Gao，N.T.Son，P.-A.A.Absil和T.Stykel，辛Stiefel流形上的黎曼优化，SIAM J.Optim。，31（2021年），第1546-1575页·Zbl 1507.65100号 [29] J.C.Gilbert和J.Nocedal，共轭梯度优化方法的全局收敛性，SIAM J.Optim。，2（1992年），第21-42页·Zbl 0767.90082号 [30] J.Goto和H.Sato，黎曼流形上的近似对数映射及其应用，JSIAM Lett。，13（2021年），第17-20页·Zbl 1471.53035号 [31] W.W.Hager和H.Zhang，一种新的保下降共轭梯度法和有效的线搜索，SIAM J.Optim。，16（2005），第170-192页·邮编1093.90085 [32] W.W.Hager和H.Zhang，非线性共轭梯度法综述，Pac。J.Optim。，2（2006年），第35-58页·Zbl 1117.90048号 [33] A.Han，B.Mishra，P.K.Jawanpuria和J.Gao，关于Bures-Wasserstein几何正定矩阵上的黎曼优化，高级神经网络过程。系统。，34 (2021). [34] M.R.Hestenes和E.Stiefel，求解线性系统的共轭梯度方法，J.Res.Natl。伯尔。支架。，49（1952），第409-436页·Zbl 0048.09901号 [35] 胡永华，C.Storey，共轭梯度法的全局收敛性结果，J.Optim。理论应用。，71（1991），第399-405页·Zbl 0794.90063号 [36] W.Huang，《黎曼流形优化算法及其应用》，佛罗里达州立大学博士论文，2013年。 [37] A.Kovnatsky、K.Glashoff和M.M.Bronstein，MADMM:流形非光滑优化的通用算法，欧洲计算机视觉会议，Springer，2016年，第680-696页。 [38] C.Lemareíchal，《线搜索视图》，摘自《优化与最优控制》，纽约斯普林格出版社，1981年，第59-78页·Zbl 0458.65054号 [39] A.Lichnewsky，Une methode gradient concugue sur des varietes application A certains propers propres non-linearies，数字。功能。分析。最佳。，1（1979年），第515-560页·Zbl 0455.49020号 [40] C.Liu和N.Boumal，带约束黎曼流形优化的简单算法，应用。数学。最佳。，82（2020），第949-981页，https://doi.org/10.1007/s00245-019-09564-3。 ·Zbl 1468.65072号 [41] Y.Liu和C.Storey，高效广义共轭梯度算法，第1部分：理论，J.Optim。理论应用。，69（1991），第129-137页·Zbl 0702.90077号 [42] L.Malagò、L.Montruchio和G.Pistone，Wasserstein Riemannian几何高斯密度，Inform。地理。，1（2018），第137-179页·兹比尔1408.53058 [43] Y.Narushima和H.Yabe，无约束优化的充分下降共轭梯度法综述，SUT J.Math。，50（2014），第167-203页·Zbl 1329.90142号 [44] J.Nocedal和S.Wright，《数值优化》，第二版，Springer，纽约，2006年·Zbl 1104.65059号 [45] E.Polak和G.Ribière，Note sur la convergence de me⁄thodes de directions concugueíes，ESAIM Math。模型。数字。分析。，3（1969），第35-43页·Zbl 0174.48001号 [46] B.T.Polyak，极值问题中的共轭梯度法，苏联计算机。数学。数学。物理。，9（1969年），第94-112页·Zbl 0229.49023号 [47] W.Ring和B.Wirth，黎曼流形上的优化方法及其在形状空间中的应用，SIAM J.Optim。，22（2012），第596-627页·Zbl 1250.90111号 [48] H.Sakai和H.Iiduka，具有全局收敛性的混合黎曼共轭梯度法，计算。最佳方案。申请。，77（2020），第811-830页·Zbl 1466.90123号 [49] H.Sakai和H.Iiduka，充分下降黎曼共轭梯度法，J.Optim。理论应用。，190（2021），第130-150页·Zbl 1472.65072号 [50] 佐藤，弱Wolfe条件下的Dai-Yuan型黎曼共轭梯度法，计算。最佳方案。申请。，64（2016），第101-118页·Zbl 1338.65164号 [51] H.Sato，《黎曼优化及其应用》，施普林格，纽约，2021年·Zbl 1456.90001号 [52] H.Sato和K.Aihara，广义Stiefel流形上基于Cholesky QR的收缩，计算。最佳方案。申请。，72（2019），第293-308页·Zbl 1414.90331号 [53] H.Sato和T.Iwai，《一种新的全局收敛黎曼共轭梯度法》，《优化》，64（2015），第1011-1031页·Zbl 1311.65072号 [54] H.Sato、H.Kasai和M.Bamdev，具有收缩和向量传输的黎曼随机方差缩减梯度算法，SIAM J.Optim。，29（2019），第1444-1472页·Zbl 1421.90084号 [55] K.Sato，H.Sato和T.Damm，具有对称正定矩阵的线性系统的黎曼最优辨识方法，IEEE Trans。自动化。控制，65（2020），第4493-4508页·Zbl 07320032号 [56] A.Schiela和J.Ortiz，Hilbert流形上等式约束优化的SQP方法，SIAM J.Optim。，31（2021），第2255-2284页·兹比尔1477.90122 [57] S.T.Smith，黎曼流形上的优化技术，载于《哈密顿和梯度流，算法和控制》，AMS，Providence，RI，1994年，第113-135页。 [58] J.Townsend，N.Koep和S.Weichwald，Pymanopt:使用自动微分优化流形的python工具箱，J.Mach。《学习研究》，17（2016），第4755-4759页·Zbl 1416.65580号 [59] Y.Yamakawa和H.Sato，黎曼流形上非线性优化的序列最优性条件和全局收敛的增广拉格朗日方法，计算。最佳方案。申请。，（2022），第1-25页·Zbl 1487.90640号 [60] H.Zhang、S.J.Reddi和S.Sra，黎曼SVRG：黎曼流形上的快速随机优化，高级神经信息处理。系统。，29（2016），第4592-4600页。 [61] J.Zhang，S.Ma，and S.Zhang.黎曼流形上的原对偶优化算法：迭代复杂性分析，数学。程序。，184（2020），第445-490页·Zbl 1469.90165号 [62] 朱X.Stiefel流形优化的黎曼共轭梯度法，计算。最佳方案。申请。，67（2017），第73-110页·兹比尔1401.90230 [63] X.Zhu和H.Sato，带逆收缩的黎曼共轭梯度法，计算。最佳方案。申请。，77（2020），第779-810页·Zbl 1466.90124号 [64] X.Zhu和H.Sato，基于Cayley变换的Grassmann流形上的梯度和共轭梯度算法，高级计算。数学。，47（2021），第1-28页·Zbl 07402261号 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。