×

线性搜索和信赖域方法中的共轭残差方法。 (英语) Zbl 1422.49031号

摘要:的最小残差法(MINRES)C.C.佩奇M.A.桑德斯[SIAM J.《数值分析》第12卷,第617–629页(1975年;Zbl 0319.65025号)]通常是对称线性系统的选择方法,是共轭残差法(CR)的推广,由M.R.Hestenes先生E.施蒂费尔[J.Res.Natl.Bur.Stand.49、409–436(1952年;Zbl 0048.09901号)]. 与共轭梯度法(CG)一样,CR具有无约束优化所需的特性,但仅定义为对称正定算子。CR的主要特性是最大限度地减少残差,这在通常用于行搜索上下文的不精确牛顿优化方法中特别有吸引力。CR也与信任区域相关,因为它导致凸二次模型的单调减少[D.C.-L.FongM.A.桑德斯,“CG与MINRES:实证比较”,SQUJS,17,No.1,44-62(2012;doi:10.24200/squjs.vol17iss1pp44-62)]. 我们研究了使CR适用的修改,即使在存在负曲率的情况下也是如此,并用CG对凸和非凸问题进行了比较。我们用一个适用于非线性最小二乘问题的扩展来完成我们的研究。我们的实验表明,CR的性能与CG相当或更好,并且主要在操作矢量产品方面产生节省。

理学硕士:

49英里15 牛顿型方法
49立方米 基于非线性规划的数值方法
65层10 线性系统的迭代数值方法
65层20 超定系统的数值解,伪逆
65千5 数值数学规划方法
90立方 非线性规划
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] Å. 比约克(1979),共轭梯度在求解线性最小二乘问题中的应用《共轭梯度法和类似技术》,I.S.Duff主编,英国哈维尔AERE,第49-71页。
[2] Å. Bjo¨rck和M.A.Saunders(2017),超定和欠定线性系统的Krylov子空间算法,技术报告,斯坦福大学,斯坦福,加利福尼亚州。
[3] Å. Bjo¨rck、T.Elfving和Z.Strakos̆(1998),线性最小二乘问题的共轭梯度法和Lanczos法的稳定性,SIAM J.矩阵分析。申请。,19,第720-736页,https://doi.org/10.1137/S089547989631202X。 ·Zbl 0924.65035号
[4] A.R.Conn、N.I.M.Gould和Ph.L.Toint(2000),信任区域方法,MOS-SIAM系列。优化。宾夕法尼亚州费城SIAM 1号,https://doi.org/10.1137/1.9780898719857。
[5] R.S.Dembo和T.Steihaug(1983年),大规模无约束优化的截断Newton算法,数学。程序。,26,第190-212页·Zbl 0523.90078号
[6] J.E.Dennis,Jr.和J.J.More©(1977年),准纽顿方法、动机和理论SIAM版本,19,第46-89页·Zbl 0356.65041号
[7] D.C.-L.Fong(2011),基于Golub-Kahan双对角化的稀疏最小二乘最小残差方法,博士论文,斯坦福大学,加利福尼亚州斯坦福。
[8] D.C.-L.Fong和M.A.Saunders(2011),LSMR:一种求解稀疏最小二乘问题的迭代算法,SIAM J.科学。计算。,33,第2950-2971页,https://doi.org/10.1137/10079687X。 ·Zbl 1232.65052号
[9] D.C.-L.Fong和M.A.Saunders(2012),CG与MINRES:实证比较,SQU J.科学。,17,第44-62页。
[10] R.Forer、C.Maheshwari、A.Neumaier、D.Orban和H.Schichl(2010年),计算图中的凹凸性检测,信息J.计算。,22,第26-43页,https://doi.org/10.1287/ijoc.1090.0321。 ·Zbl 1243.90004号
[11] G.H.Golub和W.Kahan(1965年),计算矩阵的奇异值和伪逆,SIAM J.数字。分析。,第2页,第205-224页,https://doi.org/10.1137/0702016。 ·Zbl 0194.18201号
[12] N.I.M.Gould、D.Orban和Ph.L.Toint(2015),CUTEst:一个具有安全线程的约束和非约束测试环境,用于数学优化,计算。优化。申请。,60,第545-557页,https://doi.org/10.1007/s10589-014-9687-3。 ·Zbl 1325.90004号
[13] M.R.Hestenes和E.Stiefel(1952年),求解线性系统的共轭梯度法《国家研究杂志》。伯尔。站立。(美国),49,第409-436页·Zbl 0048.09901号
[14] T.Kloek(2012),求解层析成像最小二乘问题的共轭梯度和共轭残差型方法,荷兰代尔夫特大学,学士论文。
[15] C.Lanczos(1950),线性微分和积分算子特征值问题的迭代解法《国家研究杂志》。伯尔。站立。(美国),第45页,第225-280页。
[16] K.Levenberg(1944),最小二乘法求解某些问题的一种方法,Q.J.应用。数学。,第2页,第164-168页·Zbl 0063.03501号
[17] C.-J.Lin和J.J.More©(1998),求解大型有界约束优化问题的牛顿方法、SIAM J.Optim.、。,9,第1100-127页,https://doi.org/10.1137/S1052623498345075。 ·Zbl 0957.65064号
[18] D.G.Luenberger(1970),约束极小化问题的共轭残差法,SIAM J.数字。分析。,7,第390-398页·Zbl 0209.17601号
[19] L.Lukšan、C.Matonoha和J.Vlček(2010),稀疏无约束优化的改进CUTE问题,技术报告1081,捷克共和国科学院计算机科学研究所,布拉格·Zbl 1340.90229号
[20] D.Marquardt(1963),非线性参数的最小二乘估计算法J.Soc.Ind.申请。数学。,11,第431-441页,https://doi.org/10.1137/011030。 ·Zbl 0112.10505号
[21] C.C.Paige和M.A.Saunders(1975),稀疏线性方程组的求解,SIAM J.数字。分析。,第12页,第617-629页,https://doi.org/10.1137/0712047。 ·Zbl 0319.65025号
[22] C.C.Paige和M.A.Saunders(1982),LSQR:稀疏线性方程组和稀疏最小二乘的算法,ACM变速器。数学。软质。,8,第43-71页·Zbl 0478.65016号
[23] T.Steihaug(1983),共轭梯度法与大规模优化中的信赖域,SIAM J.数字。分析。,20,第626-637页,https://doi.org/10.1137/0720042。 ·Zbl 0518.65042号
[24] E.施蒂费尔(1955),放松被认为是最好的Strategie zur Loésung linear Gleichungssysteme,注释。数学。帮助。,29,第157-179页·兹比尔0066.36703
[25] Y.Yuan(2000),关于截断共轭梯度法,数学。程序。,87,第561-573页,https://doi.org/10.1007/s101070050012。 ·Zbl 0955.65039号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。