×

求解非线性系统的实用拟牛顿方法。 (英语) Zbl 0967.65065号

本文综述了求解非线性系统的拟牛顿方法。特别强调了在每次迭代时满足割线方程的方法。重新讨论了最小变化割线更新(LCSU)理论,并讨论了不属于LCSU族的方法的收敛结果。综述的方法包括Broyden方法、结构化准Newton方法、直接更新因子分解的方法、行标度方法和列更新方法。最后讨论了一些实现和实践方面的问题。

MSC公司:

65H10型 方程组解的数值计算
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] Aluffi-Pentini,F。;帕里西,V。;Zirlli,F.,非线性方程的微分方程算法,ACM Trans。数学。软件,10299-316(1984)·Zbl 0546.65034号
[2] 阿卢菲·彭蒂尼,F。;帕里西,V。;Zirlli,F.,DAFNE:非线性方程的微分方程算法,ACM Trans。数学。软件,10317-324(1984)
[3] A vila,J.H。;Concus,P.,《非线性方程高结构系统的更新方法》,SIAM J.Numer。分析。,16, 260-269 (1979) ·兹比尔0405.65027
[4] Barnes,J.G.P.,基于割线法求解非线性方程的算法,计算。J.,8,66-72(1965)·Zbl 0254.65036号
[5] Bittner,L.,Eine Verallgemeinerung des Sekantenverfahrens zur näherungsweisen Berechnung der Nullstellen eines nichtlinearen Gleichngssystems,Will。德累斯顿工业大学,9325-329(1959)
[6] 博格尔,I.D.L。;Perkins,J.D.,解非线性方程的一种新的保稀疏拟牛顿更新,SIAM J.Sci。统计师。计算。,11, 621-630 (1990) ·Zbl 0749.65033号
[7] Brown,P.N。;Saad,Y.,非线性Newton-Krylov算法的收敛理论,SIAM J.Optim。,4, 297-330 (1994) ·Zbl 0814.65048号
[8] Broyden,C.G.,解非线性联立方程的一类方法,数学。计算。,19, 577-593 (1965) ·Zbl 0131.13905号
[9] Broyden,C.G.,《拟Newton方法及其在函数最小化中的应用》,数学。计算。,21, 368-381 (1967) ·Zbl 0155.46704号
[10] Broyden,C.G.,求解稀疏非线性系统算法的收敛性,数学。公司。,19, 577-593 (1971) ·Zbl 0131.13905号
[11] 布劳登,C.G。;丹尼斯·J·E。;Moré,J.J.,《关于拟Newton方法的局部收敛性和超线性收敛性》,J.Inst.Math。申请。,12, 223-245 (1973) ·兹比尔0282.65041
[12] Burdakov,O.,《求解方程组的割线法的稳定版本》,U.S.S.R.Compute。数学。数学。物理。,23, 1-10 (1983) ·Zbl 0561.65038号
[13] Burdakov,O.,关于割线方法的一些稳定变体的超线性收敛,Z.Angew。数学。机械。,66, 615-622 (1986) ·Zbl 0616.65055号
[14] O.Burdakov,私人通信,1998年。;O.Burdakov,私人通信,1998年。
[15] 卡拉梅,P.H。;Moré,J.J.,《带边界的准纽顿更新》,SIAM J.Numer。分析。,24, 1434-1441 (1987) ·Zbl 0644.65033号
[16] F.F.Chadee,稀疏拟Newton方法和延拓问题,T.R.S.O.L.85-8,斯坦福大学运筹学系,1985年。;F.F.Chadee,稀疏拟牛顿方法与连续问题,T.R.S.O.L.85-8,斯坦福大学运筹学系,1985年。
[17] 科尔曼,T.F。;Garbow,B.S。;Moré,J.J.,估计稀疏雅可比矩阵的软件,ACM Trans。数学。软件,11363-378(1984)·Zbl 0548.65006号
[18] 科尔曼,T.F。;Moré,J.J.,稀疏雅可比矩阵的估计和图着色问题,SIAM J.Numer。分析。,20, 187-209 (1983) ·Zbl 0527.65033号
[19] A.R.康涅狄格州。;Scheinberg,K。;Toint,Ph.L.,无约束无导数非线性优化的最新进展,数学。编程,79,397-414(1997)·Zbl 0887.90154号
[20] 柯蒂斯,A.R。;鲍威尔,M.J.D。;Reid,J.K.,《关于稀疏雅可比矩阵的估计》,J.Inst.Math。申请。,13, 117-120 (1974) ·Zbl 0273.65036号
[21] Decker,D.W。;Kelley,C.T.,Broyden关于一类在根上具有奇异Jacobian的问题的方法,SIAM J.Numer。分析。,22, 563-574 (1985) ·Zbl 0583.65022号
[22] Dembo,R.S。;艾森斯塔特,S.C。;Steihaug,T.,不精确牛顿方法,SIAM J.Numer。分析。,19, 400-408 (1982) ·Zbl 0478.65030号
[23] 丹尼斯·J·E。;Marwil,E.S.,矩阵分解的直接正割更新,数学。公司。,38, 459-476 (1982) ·Zbl 0482.65028号
[24] 丹尼斯·J·E。;Moré,J.J.,超线性收敛的特征及其在拟牛顿方法中的应用,数学。公司。,28, 549-560 (1974) ·Zbl 0282.65042号
[25] 丹尼斯·J·E。;Moré,J.J.,《准纽顿方法、动机和理论》,SIAM Rev.,19,46-89(1977)·Zbl 0356.65041号
[26] 丹尼斯·J·E。;Schnabel,R.B.,《准Newton方法的最小变化正割更新》,SIAM Rev.,21,443-459(1979)·兹比尔0424.65020
[27] 丹尼斯·J·E。;Schnabel,R.B.,《无约束优化和非线性方程的数值方法》(1983),新泽西州普伦蒂斯·霍尔:普伦蒂塞·霍尔恩格尔伍德克利夫斯·Zbl 0579.65058号
[28] 丹尼斯·J·E。;Morshedi,M。;Turner,K.,线性规划Karmarkar算法的可变度量变量,数学。编程,39,1-20(1987)·Zbl 0635.90058号
[29] 丹尼斯·J·E。;Walker,H.F.,最小变化割线更新方法的收敛定理,SIAM J.Numer。分析。,18, 949-987 (1981) ·Zbl 0527.65032号
[30] Deufhard,P。;弗伦德,R。;Walter,A.,大型非对称线性系统迭代解的快速正割方法,冲击计算。科学。工程师,2244-276(1990)·Zbl 0729.65027号
[31] L.C.W.Dixon,优化中的自动微分和并行处理,TR第180号,哈特菲尔德理工学院,英国哈特菲尔德,1987年。;L.C.W.Dixon,优化中的自动微分和并行处理,TR第180号,哈特菲尔德理工学院,英国哈特菲尔德,1987年。
[32] 达夫,I.S。;埃里斯曼,A.M。;Reid,J.K.,《稀疏矩阵的直接方法》(1989),牛津科学出版物:牛津科学出版物·Zbl 0666.65024号
[33] 艾森斯塔特,S.C。;Walker,H.F.,全局收敛不精确牛顿方法,SIAM J.Optim。,4, 393-422 (1994) ·Zbl 0814.65049号
[34] 弗里德兰德,A。;Gomes-Ruggiero,硕士。;Kozakevich,D.N。;马特·内斯,J.M。;Santos,S.A.,用非单调策略的拟Newton方法求解非线性方程组,Optim。方法软件,8,25-51(1997)·Zbl 0893.65032号
[35] Gay,D.M.,Broyden方法的一些收敛性质,SIAM J.Numer。分析。,16, 623-630 (1979) ·Zbl 0453.65034号
[36] 盖伊,D.M。;Schnabel,R.B.,《用Broyden方法求解非线性方程组及其预测更新》,(Mangasarian,O.;Meyer,R.;Robinson,s.,《非线性规划》3(第245 281页),学术出版社:纽约学术出版社)·兹伯利0464.65024
[37] A.乔治。;Ng,E.,带部分枢轴的稀疏高斯消去的符号分解,SIAM J.Sci。统计师。计算。,8, 877-898 (1987) ·Zbl 0632.65021号
[38] Golub,G.H。;Van Loan,Ch.F.,《矩阵计算》(1989),约翰霍普金斯大学出版社:约翰霍普金大学出版社巴尔的摩·Zbl 0733.65016号
[39] Gomes-Ruggiero,硕士。;Martñnez,J.M.,《求解希尔伯特空间非线性方程的列更新方法》,数学。建模数值。分析。,26, 309-330 (1992) ·Zbl 0752.65047号
[40] Gomes-Ruggiero,硕士。;Kozakevich,D.N。;Martñnez,J.M.,大型非线性解算器的数值研究,计算。数学。申请。,32, 1-13 (1996) ·Zbl 0857.65059号
[41] Gomes-Ruggiero,硕士。;马特·内斯,J.M。;Moretti,A.C.,《求解稀疏非线性方程组的比较算法》,SIAM J.Sci。统计师。计算。,13, 459-483 (1992) ·Zbl 0752.65039号
[42] Gragg,W.B。;Stewart,G.W.,解非线性方程的割线方法的稳定变体,SIAM J.Numer。分析。,13, 127-140 (1976) ·Zbl 0359.65045号
[43] Griewank,A.,基于Broyden的割线方法求解边值问题,(Noye,J.;May,R.,计算技术与应用会议论文集,CTAC-85(1986),北荷兰:北荷兰阿姆斯特丹)·Zbl 0622.65061号
[44] Griewank,A.,《Broyden类方法与合适的线搜索的“全球”收敛性》,J.Austral。数学。Soc.序列号。B、 2875-92(1986)·Zbl 0596.65034号
[45] Griewank,A.,在反向自动微分中实现时间和空间复杂性的对数增长,Optim。方法软件,1,35-54(1992)
[46] 哈特,W.E。;Soesianto,F.,《关于高结构非线性方程的解》,J.Compute。申请。数学。,40, 285-296 (1992) ·Zbl 0755.65049号
[47] 哈特·W·E。;Soul,S.O.W.,离散非线性边值问题的拟Newton方法,J.Inst.Math。申请。,11, 351-359 (1973) ·兹比尔0259.65074
[48] Z.Huang,E.Spedicato,非线性系统准Newton的数值测试和其他一些相关方法,Quaderni del Dipartimento di Matematica,Statistica,Informatica E Applicazioni 4,Universityádegli Studi di Bergamo,意大利贝加莫,1994。;Z.Huang,E.Spedicato,非线性系统准Newton的数值测试和一些其他相关方法,Quaderni del Dipartimento di Matematica,Statistica,Informatica E Applicazioni 4,Universityádegli Studi di Bergamo,意大利贝加莫,1994。
[49] 叶长明。;Todd,M.J.,秩1拟Newton更新中的最优条件和收敛,SIAM J.Numer。分析。,25, 206-221 (1988) ·Zbl 0638.65041号
[50] Iri,M.,函数的同时计算,偏导数和舍入误差的估计,复杂性和实用性,日本J.Appl。数学。,1, 223-252 (1984) ·Zbl 0634.65009号
[51] Jankowska,J.,《多元割线方法理论》,SIAM J.Numer。分析。,16, 547-562 (1979) ·Zbl 0438.65049号
[52] 约翰逊,G.W。;奥地利,N.H.,采用矩阵分解的直接正割更新的准Newton方法,SIAM J.Numer。分析。,20, 315-325 (1983) ·Zbl 0533.65028号
[53] 卡波林,I.E。;Axelsson,O.,关于基于仿射子空间序列上的剩余范数的一类非线性方程求解器,SIAM J.Sci。计算。,16, 228-249 (1995) ·Zbl 0826.65048号
[54] Kedem,G.,《计算机程序的自动区分》,ACM Trans。数学。软件,6150-165(1980)·Zbl 0441.68041号
[55] Kelley,C.T.,线性和非线性方程的迭代方法(1995),SIAM:SIAM费城,PA·Zbl 0832.65046号
[56] 凯利,C.T。;Sachs,E.W.,椭圆边值问题的拟Newton方法,SIAM J.Numer。分析。,24, 516-531 (1987) ·Zbl 0625.65104号
[57] Li,D.H。;Fukushima,M.,非线性方程Broyden类方法的无导数线搜索和全局收敛,Optim。方法软件,131181-201(2000)·Zbl 0960.65076号
[58] Li,G.,求解稀疏非线性方程组的逐次列校正算法,数学。编程,43187-207(1989)·Zbl 0675.65045号
[59] Lopes,T.L。;Martñnez,J.M.,《序贯正割法和Broyden方法与预测更新的结合》,《计算》,25,379-386(1980)·Zbl 0426.65017号
[60] 洛佩斯,V.L.R。;Martñnez,J.M.,逆列更新方法的收敛性,Optim。方法软件,6127-144(1995)
[61] Lucia,A.,偏摩尔过剩性质,零空间和化学过程设计混合方法的新更新,AICHE J.,31558-566(1995)
[62] A.露西亚。;密勒特区。;库马尔,A.,热力学一致的准纽顿公式,A.I.C.H.E.J.,311381-1388(1985)
[63] Lukšan,L.,大型稀疏非线性方程组的不精确信赖域方法,J.Optim。理论应用。,81, 569-590 (1994) ·Zbl 0803.65071号
[64] 卢克桑,L。;Vlček,J.,大型稀疏非线性方程组全局收敛下降方法的计算经验,Optim。方法软件,8185-199(1998)·Zbl 0927.65068号
[65] 卢日宁,Z。;Krejić,N。;Herceg,D.,不精确牛顿法的参数选择,非线性分析。理论方法应用。,30, 17-24 (1997) ·Zbl 0890.65046号
[66] Martñnez,J.M.,基于序列正割法的三种新算法,BIT,19,236-243(1979)·Zbl 0412.65027号
[67] Martñnez,J.M.,关于Broyden-Gay-Schnabel方法的收敛阶,评论。数学。卡罗琳大学。,19, 107-118 (1979) ·兹伯利0383.65029
[68] Martñnez,J.M.,一种对近似Jacobian的LDU因式分解进行新更新的准Newton方法,Mat.Apl。计算。,2, 131-142 (1983) ·Zbl 0521.65030号
[69] Martñnez,J.M.,每次迭代修改一列的拟Newton方法,《计算》,33,353-362(1984)·Zbl 0546.90102号
[70] Martñnez,J.M.,《求解稀疏非线性方程组的因子分解尺度拟Newton方法》,《计算》,38,133-141(1987)·兹比尔0592.65029
[71] Martñnez,J.M.,矩阵分解的直接正割更新非线性方程的拟Newton方法族,SIAM J.Numer。分析。,27, 1034-1049 (1990) ·Zbl 0702.65053号
[72] Martñnez,J.M.,基于结构化最小变化更新的不精确牛顿方法的局部收敛理论,数学。公司。,55, 143-168 (1990) ·Zbl 0707.65031号
[73] Martı́nez,J.M.,关于最小变化割线更新方法的两个局部收敛理论之间的关系,Math。公司。,59, 457-481 (1992) ·Zbl 0767.65043号
[74] Martñnez,J.M.,关于列更新方法的收敛性,计算。申请。数学。,12, 83-94 (1992) ·Zbl 0814.65051号
[75] Martñnez,J.M.,固定点拟Newton方法,SIAM J.Numer。分析。,29, 1413-1434 (1992) ·Zbl 0758.65043号
[76] 马特·内斯,J.M。;Ochi,L.S.,Sobre dois métodos de Broyden,马特·阿普尔。计算。,1, 135-141 (1982) ·Zbl 0502.65032号
[77] 马特·内斯,J.M。;Qi,L.,求解非光滑方程的非精确牛顿方法,J.Compute。申请。数学。,60, 127-145 (1995) ·Zbl 0833.65045号
[78] 马特·内斯,J.M。;Zambaldi,M.C.,求解大型非线性方程组的逆列更新方法,Optim。方法软件,1129-140(1992)
[79] 马提斯,H。;Strang,G.,非线性有限元方程的求解,国际。J.数字。方法工程,141613-1626(1979)·Zbl 0419.65070号
[80] 莫雷,J.J。;Trangenstein,J.A.,《关于Broyden方法的全局收敛性》,《数学》。公司。,30, 523-540 (1976) ·Zbl 0353.65036号
[81] 奥尔特加,J.M。;Rheinboldt,W.G.,多变量非线性方程的迭代解(1970),学术出版社:纽约学术出版社·兹比尔0241.65046
[82] Ostrowski,A.M.,《欧几里德和巴拿赫空间中方程的求解》(1973),学术出版社:纽约学术出版社·兹比尔0304.65002
[83] Paloschi,J.R。;Perkins,J.D.,《拟Newton方法中LU-因子的更新》,计算。化学。工程,10,241-247(1986)
[84] Polak,E.,《应用于边值问题的全局收敛正割方法》,SIAM J.Numer。分析。,11, 529-537 (1974) ·Zbl 0286.65028号
[85] Powell,M.J.D.,非线性方程的混合方法,(Rabinowitz,P.,非线性代数方程的数值方法(1970),Gordon and Breach:Gordon and Breach London),87-114·Zbl 0277.65028号
[86] Powell,M.J.D.,优化计算的直接搜索算法,《数值学报》。,287-336 (1998) ·Zbl 0911.65050号
[87] Rall,L.B.,《自动识别技术与应用》。自动微分-技术与应用,Springer计算机科学讲稿,第120卷(1981),Springer:Springer Berlin·Zbl 0473.68025号
[88] Rall,L.B.,PASCAL-SC中的分化:类型梯度,ACM-Trans。数学。软件,10161-184(1984)·Zbl 0564.65010号
[89] Rall,L.B.,微分算法的优化实现,(Külisch,U.,《计算机算术、科学计算和编程语言》(1987),Teubner:Teubner Stuttgart)·Zbl 0618.65010号
[90] Rheinboldt,W.C.,参数化非线性方程的数值分析(1986),威利:威利纽约·Zbl 0572.65034号
[91] Rheinboldt,W.C。;Vandergraph,J.S.,《关于更新方法的局部收敛性》,SIAM J.Numer。分析。,11, 1069-1085 (1974) ·Zbl 0288.65029号
[92] R.B.Schnabel,使用多正割方程的准Newton方法,TR CU-CS-247-83,科罗拉多大学博尔德分校计算机科学系,1983年。;R.B.Schnabel,《使用多正割方程的准Newton方法》,TR CU-CS-247-83,科罗拉多大学博尔德分校计算机科学系,1983年。
[93] 舒伯特,L.K.,用稀疏雅可比矩阵修正非线性方程的拟牛顿法,数学。公司。,24, 27-30 (1970) ·Zbl 0198.49402号
[94] Schwetlick,H.,Numerische Lösung Nichtlineier Gleichungen(1978),德国威斯森查芬出版社:德国威斯森查芬出版社,柏林
[95] 沙曼斯基,V.E.,《牛顿方法的修正》,《乌克兰数学杂志》,第19期,第133-138页(1967年)·Zbl 0176.13802号
[96] Shi,Y.X.,使用全局-局部过程求解非线性系统,Z.Angew。数学。机械。,76, 539-540 (1996) ·Zbl 0900.65157号
[97] 史永新,解非线性方程组的全球化程序,数值。算法,12273-286(1996)·Zbl 0861.65048号
[98] Spedicato,E。;Greenstadt,J.,关于非线性代数方程组的几类变量衍生拟Newton算法,Numer。数学。,29, 363-380 (1978) ·Zbl 0365.65033号
[99] Tewarson,R.P。;Zhang,Y.,Sparse准牛顿LDU更新,国际。J.数字。方法工程,24,1093-1100(1987)·Zbl 0622.65038号
[100] S.W.Thomas,拟Newton算法的序列估计技术,技术报告TR 75-227,康奈尔大学,1975年。;S.W.Thomas,拟Newton算法的序列估计技术,技术报告TR 75-227,康奈尔大学,1975年。
[101] Watson,L.T.,计算(C^2)映射点的全局收敛算法,应用。数学。计算。,5, 297-311 (1979) ·Zbl 0445.65032号
[102] Watson,L.T。;比卢普斯,南卡罗来纳州。;Morgan,A.P.,《算法652:HOMPACK:全局收敛同伦算法的一组代码》,ACM-Trans。数学。软件,13,281-310(1987)·兹比尔062665049
[103] Wolfe,P.,《求解非线性方程的割线法》,美国通信协会,12,12-13(1959)·Zbl 0093.13202号
[104] Z.Zlatev,J.Wasniewski,K.Schaumburg,Y12M,线性代数方程大系统和稀疏系统的解,计算机科学讲义,第121卷,Springer,纽约,1981年。;Z.Zlatev,J.Wasniewski,K.Schaumburg,Y12M,线性代数方程大型稀疏系统的求解,计算机科学讲义,第121卷,施普林格,纽约,1981年·Zbl 0461.65023号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。