艾兹迈洛夫，A.F。；M.V.索洛多夫。 牛顿型方法：更广阔的视野。 （英语） Zbl 1310.65063号 J.优化。理论应用。 164，第2期，577-620（2015）. 总结：我们讨论的问题是，哪些特征和/或属性使解决给定问题的方法属于“牛顿类”。这是问题数据（可能只是问题数据的一部分）的线性化（或者可能是二阶近似）策略吗？或者，在自然假设下，该方法的局部收敛速度是否很快，迭代的计算成本是否合理？我们考虑这两种观点，以及它们之间的关系。特别地，我们讨论了广义方程的抽象牛顿框架，以及如何通过将结构摄动引入基本牛顿迭代，将许多约束优化的重要算法与它们联系起来。这为从统一的角度对各种算法进行局部收敛和收敛速度分析提供了有用的工具，通常会产生比其他方法更清晰的结果。可以在扰动牛顿框架内方便地分析的特定约束优化算法包括序列二次规划方法及其各种修改（截断、增广拉格朗日、复合步长、稳定并配备二阶校正），线性约束拉格朗日方法、不精确恢复、序列二次约束二次规划和某些内部可行方向方法。我们将这些算法中的大多数作为示例来回忆，以说明潜在的观点。我们还讨论了该方法的主要思想如何超越明显与牛顿相关的方法，并适用于例如增广拉格朗日算法（也称为乘数法），该算法原则上不是牛顿型的，因为其迭代不逼近问题数据的任何部分。 引用于11文件 MSC公司： 65千5 数值数学规划方法 90C20个 二次规划 90立方 非线性规划 90元53 拟牛顿型方法 关键词：牛顿法；超线性收敛；广义方程；（扰动）约瑟夫-牛顿框架；约束优化；（扰动）序列二次规划框架；增广拉格朗日函数；汇聚；算法 软件：SQPlab公司；PLCP公司；MINOS公司 PDF格式BibTeX公司 XML格式引用 \textit{A.F.Izmailov}和\textit{M.V.Solodov}，J.Optim。理论应用。164、2号、577--620（2015；Zbl 1310.65063） 全文： 内政部 参考文献： [1] Izmailov，A.F.，Kurennoy，A.S.：抽象牛顿框架及其应用。SIAM J.Optim公司。23, 2369-2396 (2013) ·Zbl 1298.49046号 ·doi:10.1137/120899194 [2] Facchinei，F.，Pang，J.-S.：有限维变分不等式和互补问题。Springer-Verlag，纽约（2003年）·Zbl 1062.90002号 [3] Bonnans，J.F.：变分不等式和非线性规划的Newton型方法的局部分析。申请。数学。最佳方案。29, 161-186 (1994) ·Zbl 0809.90115号 ·doi:10.1007/BF01204181 [4] Fischer，A.：具有非孤立解的广义方程迭代框架的局部行为。数学。程序。94, 91-124 (2002) ·Zbl 1023.90067号 ·doi:10.1007/s10107-002-0364-4 [5] Klatte，D.，Kummer，B.：最优化中的非光滑方程：正则性、微积分、方法和应用。Kluwer学术出版社，多德雷赫特（2002）·Zbl 1173.49300号 [6] Robinson，S.M.：一类非光滑函数的牛顿方法。设定值分析。2, 291-305 (1994) ·Zbl 0804.65062号 ·doi:10.1007/BF01027107 [7] Robinson，S.M.：基于点的近似牛顿方法的吸引点结果。优化60，89-99（2011）·Zbl 1216.49026号 ·网址：10.1080/02331931003667583 [8] Dontchev，A.L.，Rockafellar，R.T.：隐函数和解映射。施普林格，纽约（2009）·兹比尔1178.26001 ·doi:10.1007/978-0-387-87821-8 [9] Izmailov，A.F.，Solodov，M.V.：广义方程的非精确Josephy-Newton框架及其在约束优化牛顿方法局部分析中的应用。计算。最佳方案。申请。46, 347-368 (2010) ·Zbl 1220.90165号 ·doi:10.1007/s10589-009-9265-2 [10] Izmailov，A.F.，Solodov，M.V.：基于子问题不精确内点解的截断SQP方法。SIAM J.Optim公司。20, 2584-2613 (2010) ·Zbl 1211.90233号 ·doi:10.1137/090758015 [11] Wright，S.J.：稳定SQP方法到退化解的超线性收敛。计算。最佳方案。申请。11, 253-275 (1998) ·兹比尔0917.90279 ·doi:10.1023/A:1018665102534 [12] Hager，W.W.：稳定序列二次规划。计算。优化。申请。12, 253-273 (1999) ·Zbl 1040.90566号 ·doi:10.1023/A:1008640419184 [13] Fernández，D.，Solodov，M.：优化的稳定序列二次规划和变分问题的稳定Newton型方法。数学。程序。125, 47-73 (2010) ·Zbl 1203.90144号 ·doi:10.1007/s10107-008-0255-4 [14] 艾兹迈洛夫，A.F.，索洛多夫，M.V.：重新审视稳定的SQP。数学。程序。133, 93-120 (2012) ·Zbl 1245.90145号 ·doi:10.1007/s10107-010-0413-3 [15] Solodov，MV；Cochran，JJ（编辑），《限制条件》（2010），纽约·Zbl 1193.49042号 [16] Robinson，S.M.：一般非线性规划问题的二次收敛算法。数学。程序。3, 145-156 (1972) ·Zbl 0264.90041号 ·doi:10.1007/BF01584986 [17] Murtagh，B.A.，Saunders，M.A.：稀疏非线性约束的投影拉格朗日算法及其实现。数学。程序。研究16，84-117（1982）·Zbl 0477.90069号 ·doi:10.1007/BFb0120949文件 [18] Friedlander，M.P.，Saunders，M.A.：非线性优化的全局收敛线性约束拉格朗日方法。SIAM J.Optim公司。15, 863-897 (2005) ·Zbl 1077.90065号 ·doi:10.1137/S1052623402419789 [19] Martínez，J.M.：非线性规划的拉格朗日切线减少和新价值函数的不精确恢复方法。J.优化。理论应用。111, 39-58 (2001) ·Zbl 1052.90089 ·doi:10.1023/A:1017567113614 [20] Birgin，E.G.，Martínez，J.M.：不精确存储方法和数值实验的局部收敛性。J.优化。理论应用。127, 229-247 (2005) ·Zbl 1116.90094号 ·doi:10.1007/s10957-005-6537-6 [21] Fischer，A.，Friedlander，A.：非线性规划的一种新的行搜索不精确恢复方法。计算。最佳方案。申请。46, 333-346 (2010) ·Zbl 1220.90122号 ·doi:10.1007/s10589-009-9267-0 [22] Fernández，D.，Pilotta，E.A.，Torres，G.A.：针对sSQP方法全球化的不精确恢复策略。计算。最佳方案。申请。54, 595-617 (2013) ·Zbl 1295.90077号 ·doi:10.1007/s10589-012-9502-y [23] Wiest，E.J.，Polak，E.：用于不等式约束优化的基于广义二次规划的第I-II阶段方法。申请。数学。最佳方案。26, 223-252 (1992) ·Zbl 0770.90049号 ·doi:10.1007/BF01371083 [24] 克鲁克，S。；Wolkowicz，H。；Wolkowicz，H.（编辑）；Saigal，R.（编辑）；Vandenberghe，L.（编辑），一般非线性规划的序列二次约束二次规划，563-575（2000），Dordrecht·Zbl 0957.90532号 ·doi:10.1007/978-1-4615-4381-7_20 [25] Anitescu，M.：退化非线性规划的超线性收敛序列二次约束二次规划算法。SIAM J.Optim公司。12, 949-978 (2002) ·Zbl 1035.90081号 ·doi:10.137/S105262349365309 [26] Fukushima，M.，Luo，Z.-Q.，Tseng，P.：可微凸极小化的序列二次约束二次规划方法。SIAM J.Optim公司。13, 1098-1119 (2003) ·Zbl 1060.90077号 ·doi:10.1137/S1052623401398120 [27] Solodov，M.V.：关于序列二次约束二次规划方法。数学。操作。第29号决议、第64-79号决议（2004年）·Zbl 1082.90140号 ·doi:10.1287/门.1030.0069 [28] Fernández，D.，Solodov，M.V.：序列二次约束二次规划型方法的局部收敛性，以及变分问题的扩展。计算。最佳方案。申请。39, 143-160 (2008) ·Zbl 1144.90457号 ·doi:10.1007/s10589-007-9064-6 [29] Vardi，A.：等式约束最小化的信赖域算法：收敛特性和实现。SIAM J.数字。分析。22, 575-591 (1985) ·Zbl 0581.65045号 ·doi:10.1137/0722035 [30] Omojokun，E.O.：非线性等式和不等式约束优化的信赖域算法。博士论文。科罗拉多大学博尔德分校计算机科学系（1989）·Zbl 1144.90457号 [31] 弗莱彻，R。；Griffiths，D.（编辑），不可微优化的二阶修正，85-114（1982），柏林·Zbl 0476.65048号 ·doi:10.1007/BFb0093151 [32] Herskovits，J.：用于非线性优化问题的两阶段可行方向算法，包括可变度量技术。Recherche拉波特118。INRIA，Rocquencourt（1982）·兹比尔1060.90077 [33] Herskovits，J.：非线性约束优化的两阶段可行方向算法。数学。程序。36, 19-38 (1986) ·Zbl 0623.90070号 ·doi:10.1007/BF02591987 [34] Herskovits，J.：非线性优化的可行方向内点技术。J.优化。理论应用。99, 121-146 (1998) ·Zbl 0911.90303号 ·doi:10.1023/A:1021752227797 [35] Panier，E.R.，Tits，A.L.，Herskovits，J.：不等式约束优化的无QP、全局收敛、局部超线性收敛算法。SIAM J.控制优化。26, 788-811 (1988) ·Zbl 0651.90072号 ·数字对象标识代码：10.1137/0326046 [36] Tits，A.L.，Wächter，A.，Bakhtiari，S.，Urban，T.J.，Lawrence，C.T.：具有强全局和局部收敛特性的非线性规划的原对偶内点方法。SIAM J.Optim公司。14, 173-199 (2003) ·Zbl 1075.90078号 ·doi:10.1137/S1052623401392123 [37] Izmailov，A.F.，Kurennoy，A.S.，Solodov，M.V.：通过扰动序列二次规划框架解释的一些复合步长约束优化方法。Optim。方法。柔和。（出现）·Zbl 1327.90313号 [38] Izmailov，A.F.，Solodov，M.V.：优化和变分问题的牛顿型方法。《Springer运筹学与金融工程丛书》，瑞士Springer国际出版公司（2014）·兹比尔1304.49001 ·doi:10.1007/978-3-319-04247-3 [39] Hestenes，M.R.：乘数法和梯度法。J.优化。理论应用。4, 303-320 (1969) ·Zbl 0174.20705号 ·doi:10.1007/BF00927673 [40] 鲍威尔，MJD；Fletcher，R.（编辑），最小化问题中非线性约束的方法，283-298（1969），纽约·Zbl 0194.47701号 [41] Conn，A.R.，Gould，N.，Sartenaer，A.，Toint，P.L.：广义等式和线性约束组合优化的增广拉格朗日算法的收敛性。SIAM J.Optim公司。6, 674-703 (1996) ·Zbl 0856.90098号 ·doi:10.1137/S1052623493251463 [42] Andreani，R.，Birgin，E.G.，Martínez，J.M.，Schuverdt，M.L.：关于具有一般低层约束的增广拉格朗日方法。SIAM J.Optim公司。18, 1286-1309 (2007) ·Zbl 1151.49027号 ·数字对象标识代码：10.1137/060654797 [43] Fernández，D.，Solodov，M.V.：二阶充分最优性条件下精确和非精确增广拉格朗日方法的局部收敛性。SIAM J.Optim公司。22, 384-407 (2012) ·Zbl 1259.90132号 ·数字对象标识码：10.1137/10081085X [44] Josephy，N.H.：广义方程的牛顿方法。1965年技术总结报告。威斯康星大学数学研究中心，威斯康星州麦迪逊市（1979年） [45] Rockafellar，R.T.，Wets，J.B.：变分分析。柏林施普林格-弗拉格出版社（1998年）·Zbl 0888.49001号 ·doi:10.1007/978-3-642-02431-3 [46] Kinderlehrer，D.，Stampacchia，G.：变分不等式及其应用简介。纽约学术出版社（1980）·Zbl 0457.35001号 [47] Bonnans，J.F.，Shapiro，A.：优化问题的扰动分析。Springer-Verlag，纽约（2000年）·Zbl 0966.49001号 ·doi:10.1007/978-1-4612-1394-9 [48] Giannessi，F.：约束优化和图像空间分析。Springer-Verlag，纽约（2005年）·Zbl 1082.49001号 [49] Boggs，P.，Tolle，J.：序列二次规划。Acta Numer公司。4, 1-51 (1995) ·Zbl 0828.65060号 ·doi:10.1017/S0962492900002518 [50] 吉尔，体育；Wong，E。；Lee，J.（编辑）；Leyffer，S.（编辑），序列二次规划方法，第154号，第147-224页（2012年），柏林·Zbl 1242.90297号 ·doi:10.1007/978-1-4614-1927-36 [51] Rademacher，H.：部分和完全差异市场I.数学。年鉴89，340-359（1919）·联合财务报表47.0243.01 ·doi:10.1007/BF01498415 [52] Dontchev，A.L.，Rockafellar，R.T.：广义方程的牛顿方法：序列隐函数定理。数学。程序。123, 139-159 (2010) ·Zbl 1190.49024号 ·doi:10.1007/s10107-009-0322-5 [53] Robinson，S.M.：强正则广义方程。数学。操作。第5号决议，第43-62页（1980年）·Zbl 0437.90094号 ·doi:10.1287/门5.1.43 [54] Izmailov，A.F.：强正则非光滑广义方程。数学。程序。(2013). doi:10.1007/s10107-013-0717-1·Zbl 1301.49043号 ·doi:10.1007/s10107-013-0717-1 [55] 小岛，M。；Robinson，SM（ed.），非线性规划中的强稳定定态解，93-138（1980），纽约·Zbl 0478.90062号 ·doi:10.1016/B978-0-12-590240-3.50009-4 [56] Bonnans，J.F.，Sulem，A.：广义方程和约束优化解的伪幂展开。数学。程序。70, 123-148 (1995) ·Zbl 0842.65044号 [57] Dontchev，A.L.，Rockafellar，R.T.：多面体凸集上变分不等式的强正则性特征。SIAM J.Optim公司。6, 1087-1105 (1996) ·Zbl 0899.49004号 ·doi:10.1137/S1052623495284029 [58] Izmailov，A.F.，Kurennoy，A.S.，Solodov，M.V.：关于含Lipschitz的KKT系统的上Lipschit稳定性、误差界和临界乘数的注释。数学。程序。142, 591-604 (2013) ·Zbl 1282.90177号 ·doi:10.1007/s10107-012-0586-z [59] Izmailov，A.F.，Kurennoy，A.S.，Solodov，M.V.：半光滑广义方程的Josephy-Newton方法和优化的半光滑SQP方法。设定值变量分析。21, 17-45 (2013) ·Zbl 1285.90065号 ·doi:10.1007/s11228-012-0218-z [60] Josephy，N.H.：广义方程的准Newton方法。1966年技术总结报告。威斯康星大学数学研究中心，威斯康星州麦迪逊市（1979年） [61] Mifflin，R.：约束优化中的半光滑和半凸函数。SIAM J.控制优化。1595-972年（1977年）·Zbl 0376.90081号 ·doi:10.1137/0315061 [62] Conn，A.R.，Gould，N.I.M.，Toint，PhL：信托区域方法。SIAM，费城（2000）·Zbl 0958.65071号 ·数字对象标识代码：10.1137/1.9780898719857 [63] Bonnans，J.F.，Gilbert，JCh。，Lemaréchal，C.，Sagastizábal，C.：数值优化：理论和实践方面，第2版。柏林施普林格-弗拉格出版社（2006年）·Zbl 1108.65060号 [64] Nocedal，J.，Wright，S.J.：数值优化，第2版。施普林格，纽约（2006）·Zbl 1104.65059号 [65] Wilson，R.B.：凹规划的简单算法。博士论文。哈佛大学工商管理研究生院（1963年）·兹伯利0946.65047 [66] Robinson，S.M.：一类非线性规划算法的扰动Kuhn-Tucker点和收敛速度。数学。程序。7, 1-16 (1974) ·Zbl 0294.90078号 ·doi:10.1007/BF01585500 [67] Bertsekas，D.P.：约束优化和拉格朗日乘子方法。纽约学术出版社（1982）·Zbl 0572.90067号 [68] Fernández，D.，Izmailov，A.F.，Solodov，M.V.：约束优化的一些牛顿方法的尖锐原始超线性收敛结果。SIAM J.Optim公司。20，3312-3334（2010年）·Zbl 1235.90147号 ·doi:10.1137/090776664 [69] Dembo，R.S.、Eisenstat，S.C.、Steihaug，T.：不精确牛顿法。SIAM J.数字。分析。19, 400-408 (1982) ·Zbl 0478.65030号 ·doi:10.1137/0719025 [70] 古尔德，N.I.M.：关于约束优化的活动集和内部点方法的当前状态的一些思考。数值分析小组内部报告2003-1。牛津郡卢瑟福阿普尔顿实验室计算科学与工程系（2003） [71] Gould，N.I.M.，Orban，D.，Toint，PhL：大规模非线性优化的数值方法。Acta Numer公司。14, 299-361 (2005) ·Zbl 1119.65337号 ·doi:10.1017/S0962492904000248 [72] Leibfritz，F.，Sachs，E.W.：非精确SQP内点方法和大规模最优控制问题。SIAM J.控制优化。38, 272-293 (1999) ·Zbl 0946.65047号 ·doi:10.137/S0363012996298795 [73] Murtagh，B.A.，Saunders，M.A.：MINOS 5.0用户指南。技术报告SOL 83.20。斯坦福大学（1983）·Zbl 0804.65062号 [74] Martínez，J.M.，Pilotta，E.A.：约束优化的不精确恢复算法。J.优化。理论应用。104, 135-163 (2000) ·兹比尔0969.90094 ·doi:10.1023/A:1004632923654 [75] 马丁内斯，JM；皮洛塔，EA；Qi，LQ（编辑）；Teo，KL（编辑）；Yang，XQ（编辑），《非线性规划的不精确恢复方法：进展与展望》，271-292（2005），柏林·Zbl 1118.90319号 ·数字对象标识代码：10.1007/0-387-24255-4_12 [76] Maratos，N.：有限维和控制优化问题的精确罚函数算法。博士论文。伦敦大学（1978） [77] Li，D.-H.，Qi，L.：通过线性方程组的稳定SQP方法。应用数学技术代表AMR00/5。悉尼新南威尔士大学（2000年）·Zbl 1295.90077号 [78] Wright，S.J.：针对退化问题修改SQP SIAM。J.优化。13, 470-497 (2002) ·Zbl 1026.90097号 [79] Wright，S.J.：退化非线性程序的约束识别和算法稳定性。数学。程序。95, 137-160 (2003) ·兹比尔1030.90126 ·doi:10.1007/s10107-002-0344-8 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。