×
邹钦猛；马古莱斯、弗雷德里克

对称线性系统的无Cauchy步长快速梯度对准方法。 （英语） Zbl 1452.65064号

J.计算。申请。数学。 381，文章ID 113033，17 p.（2021）.
摘要：由于引入了延迟参数，梯度方法的性能得到了很大的提高。最近，二阶信息的揭示引发了基于Cauchy的对齐方法，这通常被认为是最先进的梯度方法。本文研究了最小梯度和渐近最优步长的谱性质，提出了三种不使用柯西步长的快速对齐方法。给出了收敛结果，数值实验表明，新方法为基于Cauchy的经典方法提供了具有竞争力的替代方案。特别是，在某些情况下，对齐梯度方法比Krylov子空间方法具有优势，这使得它们在实践中具有吸引力。

引用于4文件

MSC公司：

65层10 线性系统的迭代数值方法
40A25型 极限值的近似值（级数求和等）

关键词：

带对齐的梯度法；最小梯度；渐近最优；光谱分析；线性系统

软件：

稀疏矩阵
PDF格式BibTeX公司 XML格式引用
\textit{Q.Zou}和\textit{F.Magoulès}，J.Comput。申请。数学。381，文章ID 113033，17 p.（2021；Zbl 1452.65064）
全文： 内政部 arXiv公司

参考文献：

[1] Cauchy，A.L.，Méthode Générale pour la Résolution des Systèmes d’Equations Simulanes，计算。伦德。科学。巴黎，251536-538（1847），（法语）
[2] Akaike，H.，《概率分布的逐次变换及其在最优梯度法分析中的应用》，《Ann.Inst.Stat.Math。，11, 1, 1-16 (1959) ·Zbl 0100.14002号
[3] Barzilai，J。；Borwein，J.M.，两点步长梯度法，IMA J.Numer。分析。，8, 1, 141-148 (1988) ·Zbl 0638.65055号
[4] Raydan，M.，关于Barzilai和Borwein梯度法步长的选择，IMA J.Numer。分析。，13, 3, 321-326 (1993) ·Zbl 0778.65045号
[5] Dai，Y.-H。；Liao，L.-Z.，（R\）-Barzilai和Borwein梯度法的线性收敛性，IMA J.Numer。分析。，22, 1, 1-10 (2002) ·Zbl 1002.65069号
[6] 莫利纳，B。；Raydan，M.，偏微分方程数值解的预处理Barzilai-Borwein方法，Numer。算法，13，1，45-60（1996）·兹比尔0861.65025
[7] Fletcher，R.，《关于Barzilai-Borwein方法》（Qi，L.；Teo，K.；Yang，X.，《应用优化与控制》（2005），Springer US:Springer US Boston，MA），235-256·Zbl 1118.90318号
[8] Dai，Y.-H.，交替梯度法，最优化，52，4-5，395-415（2003）·Zbl 1056.65055号
[9] Dai，Y.-H。；Yuan，Y.-X.，交替最小化梯度法，IMA J.Numer。分析。，23, 3, 377-393 (2003) ·Zbl 1055.65073号
[10] 弗里德兰德，A。；马丁内斯，J.M。；莫利纳，B。；Raydan，M.，具有延迟和推广的梯度法，SIAM J.Numer。分析。，36275-289（1999年）·Zbl 0940.65032号
[11] Dai，Y.-H。；海格，W.W。；希特科夫斯基，K。；Zhang，H.，无约束优化的循环Barzilai-Borwein方法，IMA J.Numer。分析。，26, 3, 604-627 (2006) ·Zbl 1147.65315号
[12] 周，B。；高，L。；Dai，Y.-H.，自适应步长梯度法，计算。最佳方案。申请。，35, 1, 69-86 (2006) ·Zbl 1121.90099
[13] 弗雷索尔达蒂，G。；Zanni，L。；Zanghirati，G.，梯度方法中的新自适应步长选择，J.Ind.Manag。最佳。，4, 2, 299-312 (2008) ·Zbl 1161.90524号
[14] Yuan，Y.-X.，大型凸二次函数的梯度方法，（Wang，Y.-F.；Yang，C.-C.；Yagola，A.G.，计算逆问题和应用的优化和正则化（2010），Springer:Springer-Berlin-Heidelberg），141-155·Zbl 1277.90089号
[15] Yuan，Y.-X.，最速下降法的新步长，J.Compute。数学。，24, 2, 149-156 (2006) ·Zbl 1101.65067号
[16] De Asmundis，R。；di Serafino，D。；里奇奥，F。；Toraldo，G.，《关于最速下降法的光谱特性》，IMA J.Numer。分析。，33, 4, 1416-1435 (2013) ·Zbl 1321.65095号
[17] Dai，Y.-H。；袁永新，单调梯度法分析，J.Ind.Manag。最佳。，1, 2, 181-192 (2005) ·Zbl 1071.65084号
[18] De Asmundis，R。；di Serafino，D。；Landi，G.，关于SDA和SDC梯度方法在解线性不适定问题中的正则化行为，J.Comput。申请。数学。，302, 81-93 (2016) ·Zbl 1382.65114号
[19] De Asmundis，R。；di Serafino，D。；海格，W.W。；托拉尔多，G。；Zhang，H.，使用Yuan步长的有效梯度方法，计算。最佳方案。申请。，59, 3, 541-563 (2014) ·Zbl 1310.90082号
[20] 哥伦比亚特区贡扎加。；Schneider，R.M.，关于二次函数的最速下降算法，计算。最佳方案。申请。，63, 2, 523-542 (2016) ·兹比尔1360.90183
[21] Krasnosel'skii，医学硕士。；Krein，S.G.，残差最小的迭代过程，Numer。功能。分析。最佳。，31（73），2315-334（1952），（俄语）·Zbl 0047.36202号
[22] Kozjakin，V.S。；Krasnosel'skii，M.A.，关于最小残数方法的一些评论，Numer。功能。分析。最佳。，4, 3, 211-239 (1982) ·Zbl 0496.65011号
[23] 佩奇，C.C。；桑德斯，M.A.，稀疏不定线性方程组的求解，SIAM J.Numer。分析。，12, 4, 617-629 (1975) ·Zbl 0319.65025号
[24] Greenbaum，A.，求解线性系统的迭代方法（1997），SIAM:SIAM Philadelphia·Zbl 0883.65022号
[25] 阿舍尔，U.M。；van den Doel，K。；黄，H。；Svaiter，B.F.，梯度下降和快速人工时间积分，ESAIM:M2AN，43，4，689-708（2009）·Zbl 1169.65329号
[26] van den Doel，K。；Ascher，U.M.，《快速梯度下降法的混沌特性》，J.Sci。计算。，51, 3, 560-581 (2012) ·Zbl 1252.65073号
[27] Forsythe，G.E.，关于维最优梯度法的渐近方向，Numer。数学。，11, 1, 57-76 (1968) ·Zbl 0153.46004号
[28] Pronzato，L。；Wynn，H.P。；Zhigljavsky，A.A.，（mathbb{R}^d）和Hilbert空间中梯度算法族的渐近行为，数学。程序。，107, 3, 409-438 (2006) ·Zbl 1111.90085号
[29] Raydan，M。；Svaiter，B.F.，松弛最速下降和Cauchy-Barzilai-Borwein方法，计算。最佳方案。申请。，21, 2, 155-167 (2002) ·Zbl 0988.90049号
[30] Dai，Y.-H。；Yang，X.-Q.，具有最佳步长特性的新梯度法，计算。最佳方案。申请。，33, 1, 73-88 (2006) ·兹比尔1103.90099
[31] 李，C.-L。；Ma，C.-F.，《关于复杂对称线性系统的Euler-Extraclated Hermitian/偏斜Hermitia分裂方法》，应用。数学。莱特。，86, 42-48 (2018) ·Zbl 1454.65021号
[32] 李，C.-L。；Ma，C.-F.，关于一类奇异复对称线性系统的参数化SHSS方法的半收敛性，计算。数学。申请。，77, 2, 466-475 (2019) ·Zbl 1442.65043号
[33] 李，C.-L。；Ma，C.-F.关于一类复对称线性系统的欧拉预条件SHSS迭代方法，ESAIM:M2AN，53，51607-1627（2019）·兹比尔1530.65037
[34] Saad，Y.，《稀疏线性系统的迭代方法》（2003），SIAM:SIAM Philadelphia·Zbl 1002.65042号
[35] 拉莫特，J.-L。；莫利纳，B。；Raydan，M.，《带延迟的平滑自适应梯度法》，数学。计算。型号。，36, 9, 1161-1168 (2002) ·兹比尔1029.65029
[36] Hestenes，M.R。；Stiefel，E.，求解线性系统的共轭梯度方法，J.Res.Natl。伯尔。支架。，49, 6, 409-436 (1952) ·Zbl 0048.09901号
[37] 萨阿德，Y。；Schultz，M.H.，GMRES:求解非对称线性系统的广义最小残差算法，SIAM J.Sci。统计计算。，7, 3, 856-869 (1986) ·Zbl 0599.65018号
[38] Davis，T.A。；Hu，Y.，佛罗里达大学稀疏矩阵收集，ACM Trans。数学。软件，38，1，1:1-1:25（2011）·Zbl 1365.65123号
[39] Nocedal，J。；Sartenaer，A。；朱，C.，关于最速下降法中梯度范数的行为，计算。最佳方案。申请。，22, 1, 5-35 (2002) ·Zbl 1008.90057号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。