汉斯·德·斯特克;何云辉 关于Anderson加速度、Nesterov加速度和非线性GMRES的渐近线性收敛速度。 （英文） Zbl 1490.65120号 SIAM J.科学。计算。 43，编号5，S21-S46（2021）. 摘要：我们考虑了定点迭代（x{k+1}=q（x_k））的非线性收敛加速方法，包括Anderson加速（AA）、非线性GMRES（NGMRES）和Nesterov型加速（对应于窗口大小为1的AA）。我们重点研究以收敛因子（rho<1）渐近线性收敛的不动点方法，并解决了一个潜在的完全光滑和非凸优化问题。通常可以观察到，AA和NGMRES大大改善了不动点迭代的渐近收敛性，但这种改进尚未在理论上量化。我们在简化的条件下研究这个问题。首先，我们考虑AA和NGMRES的平稳版本，并在已知不动点（x^*）处的谱的情况下，确定导致最佳渐近收敛因子的系数。这使我们能够理解并量化非线性收敛加速所能提供的渐近收敛改进，将（x{k+1}=q（x_k））视为AA和NGMRES的非线性预条件。其次，对于无限窗口大小的情况，我们考虑了应用于线性化约为（x^*）的不动点迭代的GMRES的线性渐近收敛界。由于AA和NGMRES在线性情况下等同于GMRES，因此可以预期GMRES收敛因子与AA和NGMRES相关，如\（x_k\rightarrow x ^*\）。我们的结果通过正则张量分解对一类测试问题进行了数值说明，将最速下降和交替最小二乘作为定点迭代进行比较，定点迭代由AA和NGMRES加速。我们的数值试验表明，这两种方法都允许我们估计有限窗口大小的非平稳AA和NGMRES的渐近收敛速度。 引用于7文件 MSC公司： 65K10码 数值优化和变分技术 49立方米 基于非线性规划的数值方法 65H10型 方程组解的数值计算 65F08个 迭代方法的前置条件 65层10 线性系统的迭代数值方法 15A69号 多线性代数，张量演算 关键词：安德森加速度;Nesterov加速度;非线性GMRES;渐近收敛性;正则张量分解;交替最小二乘法 软件：安德森;切布冯;波布拉诺;Eigtool公司;张量工具箱 PDF格式BibTeX公司 XML格式引用 \textit{H.De Sterck}和\textit{Y.He}，SIAM J.Sci。计算。43，编号5，S21--S46（2021；Zbl 1490.65120） 全文： 内政部 arXiv公司 参考文献： [1] E.Acar、D.M.Dunlavy和T.G.Kolda，用于拟合正则张量分解的可扩展优化方法，J.Chemom。，25（2011年），第67-86页。 [2] E.Acar、T.G.Kolda和D.M.Dunlavy，《拟合正则张量分解的优化方法》，技术代表SAND2009-0857，Sandia国家实验室，新墨西哥州阿尔伯克基，加利福尼亚州利弗莫尔，2009年。 [3] D.G.Anderson，非线性积分方程的迭代程序，J.Assoc.Compute。机器。，12（1965年），第547-560页·Zbl 0149.11503号 [4] A.M.S.Ang和N.Gillis，使用外推加速非负矩阵分解算法，神经计算。，31（2019年），第417-439页·Zbl 1470.65083号 [5] B.W.Bader、T.G.Kolda等人，MATLAB张量工具箱，网址：http://www.sandia.gov/tgkolda/Tensor工具箱，2015年。 [6] B.Beckermann、S.A.Goreinov和E.E.Tyrtyshnikov，关于GMRES的Elman估计的一些评论，SIAM J.Matrix Anal。申请。，27（2006），第772-778页，https://doi.org/10.1137/040618849。 ·Zbl 1101.65032号 [7] P.R.Brune、M.G.Knepley、B.F.Smith和X.Tu，《构建可伸缩非线性代数解算器》，SIAM Rev.，57（2015），第535-565页，https://doi.org/10.1137/130936725。 ·Zbl 1336.65030号 [8] H.De Sterck，规范张量分解的非线性GMRES优化算法，SIAM J.Sci。计算。，34（2012），第A1351-A1379页，https://doi.org/10.1137/10835530。 ·Zbl 1253.15035号 [9] H.De Sterck，非线性GMRES优化的最速下降预处理，数值。线性代数应用。，20（2013），第453-471页·Zbl 1313.65137号 [10] H.De Sterck和A.Howse，计算近似Tucker张量分解的格拉斯曼流形上的非线性预处理优化，SIAM J.Sci。计算。，38（2016），第A997-A1018页，https://doi.org/10.1137/15M1037288。 ·Zbl 1382.65183号 [11] H.De Sterck和A.J.Howse，非线性预处理L-BFGS作为交替最小二乘的加速机制，应用于张量分解，数值。线性代数应用。，25（2018），e2202·Zbl 1513.65179号 [12] H.De Sterck和K.Miller，低阶正则张量分解的自适应代数多重网格算法，SIAM J.Sci。计算。，35（2013），第B1-B24页，https://doi.org/10.1137/10855934。 ·Zbl 1264.65045号 [13] H.De Sterck和M.Winlaw，秩-R正则张量近似的非线性预处理共轭梯度算法，数值。线性代数应用。，22（2015），第410-432页·Zbl 1363.65041号 [14] T.A.Driscoll，N.Hale和L.N.Trefethen编辑，《Chebfun指南》，Pafnuty出版社，英国牛津，2014年。 [15] D.M.Dunlavy、T.G.Kolda和E.Acar，《Poblano v1.0：基于梯度优化的Matlab工具箱》，技术代表SAND2010-1422，Sandia国家实验室，新墨西哥州阿尔伯克基，加利福尼亚州利弗莫尔，2010年。 [16] C.Evans、S.Pollock、L.G.Rebholz和M.Xiao，关于Anderson加速度提高线性收敛不动点方法（但不提高二次收敛方法）收敛速度的证明，SIAM J.Numer。分析。，58（2020年），第788-810页，https://doi.org/10.1137/19M1245384。 ·Zbl 1433.65102号 [17] H.-r.Fang和Y.Saad，非线性加速度的两类多斜面方法，Numer。线性代数应用。，16（2009年），第197-221页·Zbl 1224.65134号 [18] A.Greenbaum、V.Ptaík和Z.Strakos̆，任何非增量收敛曲线对于GMRES都是可能的，SIAM J.Matrix Anal。申请。，17（1996），第465-469页，https://doi.org/10.1137/S0895479894275030。 ·Zbl 0857.65029号 [19] M.H.Gutknecht、W.Niethammer和R.S.Varga，解非线性方程组的（k）步迭代方法，Numer。数学。，48（1986），第699-712页·Zbl 0597.65047号 [20] T.Hong、I.Yavneh和M.Zibulevsky，通过SESOP加速多网格优化，预印本，https://arxiv.org/abs/1812.06896, 2018. [21] T.Kerkhoven和Y.Saad，关于耦合非线性椭圆系统的加速方法，数值。数学。，60（1992年），第525-548页·Zbl 0724.65095号 [22] T.G.Kolda和B.W.Bader，张量分解和应用，SIAM Rev.，51（2009），第455-500页，https://doi.org/10.1137/07070111X。 ·Zbl 1173.65029号 [23] L.Lessard、B.Recht和A.Packard，通过积分二次约束分析和设计优化算法，SIAM J.Optim。，26（2016），第57-95页，https://doi.org/10.1137/15M1009597。 ·Zbl 1329.90103号 [24] D.G.Luenberger和Y.Ye，《线性和非线性规划》，第三版，国际。序列号。操作。资源管理科学。116，施普林格，纽约，2008年·Zbl 1207.90003号 [25] A.Mees和D.Atherton，包含矩阵值域的域，线性代数应用。，26（1979年），第289-296页·Zbl 0407.15016号 [26] D.Mitchell，N.Ye和H.De Sterck，规范张量分解的交替最小二乘加速：动量步长选择和重启机制，数值。线性代数应用。，27（2020），e2297·Zbl 1488.65108号 [27] J.J.Moreí和D.J.Thuente，保证充分减少的线搜索算法，ACM Trans。数学。《软件》，20（1994），第286-307页·Zbl 0888.65072号 [28] Y.Nesterov，一种求解具有收敛速度的凸规划问题的方法\（｛O｝（1/k^2）\），苏联数学。道克。，27（1983年），第372-376页·Zbl 0535.90071号 [29] Y.Nesterov，凸优化入门讲座：基础课程，应用。最佳方案。87，Kluwer学术出版社，马萨诸塞州波士顿，2004年·Zbl 1086.90045号 [30] W.Niethammer和R.S.Varga，从可和性理论分析线性系统的（k）步迭代方法，Numer。数学。，41（1983年），第177-206页·Zbl 0487.65018号 [31] B.O'Donoghue和E.Candès，《加速梯度方案的自适应重启》，Found。计算。数学。，15（2015），第715-732页·Zbl 1320.90061号 [32] C.W.Oosterlee和T.Washio，非线性多重网格的Krylov子空间加速及其在再循环流中的应用，SIAM J.Sci。计算。，21（2000），第1670-1690页，https://doi.org/10.1137/S1064827598338093。 ·Zbl 0968.76061号 [33] J.M.Ortega和W.C.Rheinboldt，多元非线性方程的迭代解，经典应用。数学。30，SIAM，费城，2000年，https://doi.org/10.1137/1.9780898719468。 ·Zbl 0949.65053号 [34] D.Scieur、A.D'Aspremont和F.Bach，正则化非线性加速，《神经信息处理系统进展》，麻省理工学院出版社，马萨诸塞州剑桥，2016年，第712-720页。 [35] A.Toth和C.T.Kelley，安德森加速度收敛分析，SIAM J.Numer。分析。，53（2015），第805-819页，https://doi.org/10.1137/130919398。 ·Zbl 1312.65083号 [36] L.N.Trefethen和D.Bau III，《数值线性代数》，SIAM，费城，1997年·Zbl 0874.65013号 [37] L.N.Trefethen和M.Embree，《谱和伪谱：非正规矩阵和算子的行为》，普林斯顿大学出版社，新泽西州普林斯顿，2005年·Zbl 1085.15009号 [38] A.Uschmajew，正则张量近似的交替最小二乘算法的局部收敛性，SIAM J.矩阵分析。申请。，33（2012），第639-652页，https://doi.org/10.1137/10843587。 ·Zbl 1252.65085号 [39] H.F.Walker和P.Ni，定点迭代的Anderson加速度，SIAM J.Numer。分析。，49（2011），第1715-1735页，https://doi.org/10.1137/10078356X。 ·兹比尔1254.65067 [40] D.Wang、Y.He和H.De Sterck，量化应用于ADMM的Anderson加速度的渐近线性收敛速度，预印本，https://arxiv.org/abs/2007.02916v2, 2020. [41] T.Washio和C.W.Oosterlee，非线性多重网格方案的Krylov子空间加速，Electron。事务处理。数字。分析。，6（1997年），第271-290页·Zbl 0903.65096号 [42] J.Zhang，Y.Peng，W.Ouyang，B.Deng，《加速ADMM以实现高效仿真和优化》，ACM Trans。图表。，38（2019），第1-21页。 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。