×
徐伟;郑宁;肯·哈亚米

非线性最小二乘问题的无雅可比隐式迭代预条件。 （英语） Zbl 1352.65158号

科学杂志。计算。 68，第3期，1055-1081（2016）.
摘要：非线性最小二乘（NLS）问题出现在许多应用中。常见的求解器需要显式地计算和存储相应的雅可比矩阵，这对于大型问题来说过于昂贵。最近，人们提出了一些无雅可比矩阵（或无矩阵）方法，但这些方法大多不是真正的无雅可布方法，因为仍需要在一些迭代步骤中计算全部或部分雅可布矩阵。本文提出了一种有效的无雅可比矩阵的实数方法，特别是对于大型NLS问题，它是通过对（J（mathbf x）mathbf v）和（J（mathbf x。它们共同产生了一种新的有效的三级迭代方法。在外部层，采用折线/信赖域方法来解决NLS问题。在狗腿法的每次迭代中，我们采用迭代线性最小二乘（LLS）解算器、CGLS或BA-GMRES方法，将狗腿法每一步产生的LLS问题作为中间迭代进行求解。为了加速迭代LLS求解器的收敛，我们提出了一种基于加权雅可比方法的隐式内迭代预处理器。与现有的无雅可比方法相比，我们提出的三级方法不需要在任何迭代步骤中显式计算雅可比矩阵的任何部分。此外，我们的方法不依赖雅可比矩阵、梯度矩阵或Hessian矩阵的稀疏性或结构模式。换句话说，我们的算法也适用于稠密雅可比阵。数值实验表明了该方法的优越性。

引用于5文件

MSC公司：

65千5 数值数学规划方法
90C20个 二次规划
65D25个 数值微分
90摄氏51度 内部点方法
90元53 拟Newton型方法
65F08个 迭代方法的前置条件

关键词：

非线性最小二乘问题;牛顿法;自动微分;CGLS方法;BA-GMRES方法;加权雅可比法;信赖域法;预处理;折线法;汇聚;数值实验

软件：

万亿;ADMAT公司;Matlab公司
PDF格式BibTeX公司 XML格式引用
\textit{W.Xu}等人，《科学杂志》。计算。68，第3号，1055--1081（2016；Zbl 1352.65158）
全文： 内政部

参考文献：

[1] Bellavia，S.，Bertaccini，D.，Morini，B.：非线性系统的Newton-Krylov方法中的非对称预条件更新。SIAM J.科学。计算。33, 2595-2619 (2011) ·Zbl 1232.65049号 ·doi:10.1137/100789786
[2] Bellavia，S.，De Simone，V.，Serafino，D.，Morini，B.：移位线性系统的有效预条件更新。SIAM J.科学。计算。33, 1785-1809 (2011) ·Zbl 1236.65029号 ·数字对象标识代码：10.1137/100803419
[3] Bellavia，S.，Gondzio，J.，Morini，B.：稀疏对称正定系统和最小二乘问题的无矩阵预条件。SIAM J.科学。计算。35，A192-A211（2013）·Zbl 1264.65036号 ·doi:10.1137/10840819
[4] Björck，A.：最小二乘问题的数值方法。宾夕法尼亚州费城SIAM（1996）·Zbl 0847.65023号 ·doi:10.1137/1.9781611971484
[5] Bru，R.、Marin，J.、Mas，J.和Tuma，M.：求解线性最小二乘问题的预处理迭代方法。SIAM科学杂志。计算。2022年2月36日（2014年）·Zbl 1303.65021号 ·数字对象标识代码：10.1137/130931588
[6] Cayuga Research Associates，LLC，ADMAT-2.0用户指南，Cayuga-Research Associates，纽约（2009）·Zbl 1240.65092号
[7] Chen，Y.，Shen，C.：带自适应预条件的无雅可比Newton-GMRES（m）及其在潮流计算中的应用。IEEE传输。电力系统。21, 1096-1103 (2006) ·doi:10.1109/TPWRS.2006.876696
[8] Coleman，T.F.，Li，Y.，Verma，A.：重构未知的局部波动函数。J.计算。金融2，77-102（1999）·Zbl 0976.91019号 ·doi:10.21314/JCF.1999.027
[9] 科尔曼，T.F.，徐，W.：快速（结构化）牛顿计算。SIAM科学。计算。31, 1175-1191 (2008) ·Zbl 1189.65098号 ·doi:10.1137/070701005
[10] Dennis，J.E.，Schnabel，R.B.：无约束优化和非线性方程的数值方法。宾夕法尼亚州费城SIAM（1996）·Zbl 0847.65038号 ·doi:10.1137/1.9781611971200
[11] Dixon，L.C.W.，Price，R.C.：使用自动微分的稀疏无约束优化的截断牛顿法。J.优化。理论应用。60, 261-275 (1989) ·Zbl 0632.90060号 ·doi:10.1007/BF00940007
[12] Golub，G.H.，Van Loan，C.F.：矩阵计算，第三版。约翰·霍普金斯大学出版社，马里兰州巴尔的摩（1996）·Zbl 0865.65009号
[13] Griewank，A.，Walther，A.：评估导数：算法微分的原理和技术，第二版。宾夕法尼亚州费城SIAM（2008）·Zbl 1159.65026号 ·doi:10.1137/1.9780898717761
[14] Hayami，K.，Yin，J.-F.，Ito，T.：最小二乘问题的GMRES方法。SIAM J.矩阵分析。申请。31, 2400-2430 (2010) ·Zbl 1215.65071号 ·doi:10.1137/070696313
[15] Hestenes，M.K.，Stiefel，E.：求解线性系统的共轭梯度法。《国家研究杂志》。伯尔。站立。49, 409-436 (1952) ·Zbl 0048.09901号 ·doi:10.6028/jres.049.044
[16] Imakura，A.，Sakurai，T.，Sumiyoshi，K.，Matsufuru，H.：用于Krylov子空间方法预条件的加权Jacobi型迭代的自动调整技术。2012年IEEE第六届嵌入式多核SoC国际研讨会，第183-190页（2012）·Zbl 1215.65071号
[17] Knoll，D.A.，Keyes，D.E.：无Jacobian牛顿+-Krylov方法：方法和应用调查。J.计算。物理学。193, 357-397 (2004) ·Zbl 1036.65045号 ·doi:10.1016/j.jcp.2003.08.010
[18] Madsen，K.，Nielsen，H.B.：优化和数据拟合导论，IMM，丹麦技术大学，2010年。http://www2.imm.dtu.dk/pubdb/p.php？5938 ·Zbl 1303.65021号
[19] Morales，J.，Nocedal，J.：有限记忆准牛顿更新的自动预处理。SIAM J.Optim公司。10, 1079-1096 (2000) ·Zbl 1020.65019号 ·doi:10.1137/S1052623497327854
[20] Morikuni，K.，Hayami，K.:最小二乘问题的内迭代Krylov子空间方法。SIAM J.矩阵分析。申请。34, 1-22 (2013) ·Zbl 1269.65039号 ·doi:10.1137/110828472
[21] Morikuni，K.，Hayami，K.：秩亏最小二乘问题的内迭代GMRES方法的收敛性。SIAM J.矩阵分析。申请。36, 225-250 (2015) ·兹比尔1315.65041 ·doi:10.1137/130946009
[22] Nash，S.G.：截断-Newton方法的预处理。SIAM J.科学。统计计算。6, 599-616 (1985) ·Zbl 0592.65038号 ·doi:10.1137/0906042
[23] Pawlowski，R.P.，Simonis，J.P.，Walker，H.F.，Shadid，J.N.：不精确牛顿折线法。SIAM J.数字。分析。46(4), 2112-2132 (2008) ·Zbl 1183.65055号 ·doi:10.1137/050632166
[24] 鲍威尔，MJD；Rabinowitz，P.（编辑），非线性方程的混合方法，87-114（1970），伦敦·Zbl 0277.65028号
[25] Saad，Y.：稀疏线性系统的迭代方法，第2版。SIAM，费城（2003）·Zbl 1031.65046号 ·数字对象标识代码：10.1137/1.9780898718003
[26] Saad，Y.，Schultz，M.：GMRES：求解非对称线性系统的广义最小残差算法。SIMA科学杂志。统计计算。7, 856-869 (1986) ·Zbl 0599.65018号 ·doi:10.1137/0907058
[27] Sonneveld，P.，Van Gijzen，M.B.：IDR（s）：求解大型非对称线性方程组的一系列简单快速算法。SIAM J.科学。计算。31, 1035-1062 (2008) ·Zbl 1190.65053号 ·数字对象标识代码：10.1137/070685804
[28] Tebbens，J.D.，Tüma，M.：非对称线性系统序列的有效预处理。SIAM J.科学。计算。29, 1918-1941 (2007) ·Zbl 1155.65036号
[29] Duintjer Tebbens，J.，Tüma，M.：无矩阵环境中求解线性系统序列的预条件更新。数字。线性代数应用。17, 997-1019 (2010) ·Zbl 1240.65092号 ·doi:10.1002/nla.695
[30] Van der Sluis，A.：矩阵的条件数和平衡。数字。数学。14, 14-23 (1969) ·Zbl 0182.48906号 ·doi:10.1007/BF02165096
[31] www.autodiff.org（2012）·Zbl 1232.65049号
[32] Xu，W.，Chen，X.，Coleman，T.F.：金融应用中计算梯度的自动微分的有效应用。J.计算。财务（2014）·Zbl 0599.65018号
[33] Xu，W.，Coleman，T.F.，Liu，G.：非线性最小二乘最小化的割线方法。J.计算。最佳方案。申请。51, 159-173 (2012) ·Zbl 1245.90128号 ·doi:10.1007/s10589-010-9336-4
[34] Xu，W.，Coleman，T.：通过自动微分有效（部分）确定导数矩阵。SIAM J.科学。计算。35，A1398-A1416（2013）·兹比尔1275.65016 ·数字对象标识码：10.1137/1085061X
[35] Xu，W.，Coleman，T.：基于自动微分的Newton-Krylov方法求解非线性方程。最佳方案。方法软件。29, 88-101 (2014) ·Zbl 1282.65052号 ·doi:10.1080/10556788.2012.733004
[36] Xu，W.，Li，W.：Newton-GMRES方法的有效预条件及其在潮流研究中的应用。IEEE传输。电力系统。28, 4173-4180 (2013) ·doi:10.1109/TPWRS.2013.2267782
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。