×
卡蒂斯，科里亚;林登·罗伯茨

无导数Gauss-Newton方法。 （英语） Zbl 1461.65136号

数学。程序。计算。 11，第4号，631-674（2019）.
总结：我们提出了DFO-GN，它是求解非线性最小二乘问题的Gauss-Newton方法的无导数版本。DFO-GN使用残差值的线性插值来建立目标的二次模型，然后将其用于一个典型的无导数信任区域框架\)迭代以达到公差范围内的近似一阶临界。我们提供了DFO-GN的实现，并将其与使用二次插值模型的其他最先进的无导数求解器进行了比较。我们从数值上证明，尽管只使用线性残差模型，但DFO-GN在客观评估方面的表现与这些方法相当。此外，由于简化了插值过程，DFO-GN具有优越的运行时和可扩展性。我们的DFO-GN实现可在https://github.com/numericalalgorithmsgroup/dfong(https://doi.org/10.5281/zenodo.2629875).

引用于14文件

MSC公司：

65千5 数值数学规划方法
90立方 非线性规划
90 C56 无导数方法和使用广义导数的方法
90-04 与运筹学和数学编程有关的问题的软件、源代码等

关键词：

无导数优化;最小二乘法;高斯-纽顿法;信赖域方法;最坏情况复杂性

软件：

小背包;UOBYQA公司;科比拉2;DFO公司;BOBYQA公司;纽乌阿;轨道;github;助推器;CUTEst公司;GNU并联;DFO-GN公司
PDF格式BibTeX公司 XML格式引用
\textit{C.Cartis}和\textit{L.Roberts}，数学。程序。计算。11，编号4631-674（2019；兹bl 1461.65136）
全文： 内政部 arXiv公司
OA许可证

参考文献：

[1] Aoki，Y.，Hayami，B.，De Sterck，H.，Konagaya，A.：欠定逆问题多解抽样的聚类牛顿法：在药代动力学参数识别问题中的应用。SIAM J.科学。计算。36（1），B14-B44（2014）·Zbl 1290.65062号 ·数字对象标识代码：10.1137/120885462
[2] Arter，W.、Osojnik，A.、Cartis，C.、Madho，G.、Jones，C.、Tobias，S.：分析常微分方程系统的数据同化方法。参加：2018 IEEE电路与系统国际研讨会（ISCAS）（2018）
[3] Bergou，E.、Gratton，S.、Vicente，法律公告：基于概率梯度模型和不精确子问题解决方案的Levenberg-Marquardt方法，及其在数据同化中的应用。SIAM/ASA J.不确定性。数量。4(1), 924-951 (2016) ·Zbl 1358.90156号 ·数字对象标识代码：10.1137/140974687
[4] Cartis，C.，Roberts，L.：无导数高斯-纽顿方法。牛津大学数学研究所技术代表（2017年）。在线优化上提供·Zbl 1461.65136号
[5] Conn，A.R.，Gould，N.I.M.，Toint，P.L.：信托区域方法。MPS-SIAM优化系列。MPS/SIAM，费城（2000）·Zbl 0958.65071号
[6] Conn，A.R.，Scheinberg，K.，Toint，P.L.：无导数无约束非线性优化的最新进展。数学。程序。79, 397-414 (1997) ·Zbl 0887.90154号
[7] Conn，A.R.，Scheinberg，K.，Vicente，法律公告：无导数优化中插值集的几何。数学。程序。111(1-2), 141-172 (2007) ·Zbl 1163.90022号 ·doi:10.1007/s10107-006-0073-5
[8] Conn，A.R.，Scheinberg，K.，Vicente，法律公告：一般无导数信任区域算法到一阶和二阶临界点的全局收敛。SIAM J.优化。20(1), 387-415 (2009) ·Zbl 1187.65062号 ·数字对象标识代码：10.1137/060673424
[9] Conn，A.R.，Scheinberg，K.，Vicente，法律公告：无导数优化简介，MPS-SIAM优化系列，第8卷。MPS/SIAM，费城（2009）·兹比尔1163.49001
[10] 连接器，AR；卫生间，PL；Pillo，G.（编辑）；Gianessi，F.（编辑），无约束导数自由优化的二次插值算法，27-47（1996），纽约·Zbl 0976.90102号 ·doi:10.1007/978-14899-0289-43
[11] 阿联酋库斯托迪奥；Scheinberg，K。；维森特，LN；Terlaky，T.（编辑）；Anjos，MF（编辑）；Ahmed，S.（编辑），《无导数优化的方法和软件》（2017年），费城
[12] Garmanjani，R.、Jüdice，D.、Vicente，法律公告：不使用导数的信任区域方法：最坏情况复杂性和非光滑情况。SIAM J.Optim公司。26(4), 1987-2011 (2016) ·Zbl 1348.90572号 ·数字对象标识代码：10.1137/151005683
[13] Gould，N.I.M.，Orban，D.，Toint，P.L.：CUTEst：一个有约束和无约束的测试环境，具有用于数学优化的安全线程。计算。最佳方案。申请。60(3), 545-557 (2015) ·Zbl 1325.90004号 ·doi:10.1007/s10589-014-9687-3
[14] Gould，N.I.M.、Porcelli，M.、Toint，P.L.：更新自适应立方正则化算法中的正则化参数。计算。最佳方案。申请。53(1), 1-22 (2012) ·Zbl 1259.90134号 ·doi:10.1007/s10589-011-9446-7
[15] Grapiglia，G.N.，Yuan，J.，Yu，Yx：用于复合非光滑优化的无导数信任区域算法。计算。申请。数学35（2），475-499（2016）·Zbl 1371.49014号 ·doi:10.1007/s40314-014-0201-4
[16] Jüdice，D.：不使用导数的信任区域方法：最坏情况的复杂性和非光滑情况。科英布拉大学博士论文（2015）
[17] Kolda，T.G.，Lewis，R.M.，Torczon，V.：直接搜索优化：一些经典和现代方法的新视角。SIAM版本45（3），385-482（2003）·Zbl 1059.90146号 ·doi:10.137/S003614450242889
[18] Lukšan，L.：大型稀疏非线性最小二乘的混合方法。J.优化。理论应用。89(3), 575-595 (1996) ·Zbl 0851.90118号 ·doi:10.1007/BF02275350
[19] Moré，J.J.，Garbow，B.S.，Hillstrom，K.E.：测试无约束优化软件。ACM事务处理。数学。柔和。7(1), 17-41 (1981) ·Zbl 0454.65049号 ·数字对象标识代码：10.1145/355934.355936
[20] Moré，J.J.，Wild，S.M.：无导数优化算法的基准测试。SIAM J.Optim公司。20(1), 172-191 (2009) ·Zbl 1187.90319号 ·doi:10.1137/080724083
[21] Nocedal，J.，Wright，S.J.：数值优化，斯普林格运筹学和金融工程系列，第2版。施普林格，纽约（2006）·Zbl 1104.65059号
[22] Oeuvray，R.，Bierlaire，M.：BOOSTERS：基于径向基函数的无导数算法。国际期刊模型。模拟。29(1), 26-36 (2009) ·doi:10.1080/02286203.2009.11442507
[23] Powell，M.J.D.，通过线性插值对目标函数和约束函数建模的直接搜索优化方法，51-67（1994），Dordrecht·Zbl 0826.90108号 ·doi:10.1007/978-94-015-8330-5_4
[24] Powell，M.J.D.：优化计算的直接搜索算法。Acta Numer公司。7, 287-336 (1998) ·Zbl 0911.65050号 ·doi:10.1017/S0962492900002841
[25] Powell，M.J.D.：UOBYQA：二次近似无约束优化。数学。程序。92(3), 555-582 (2002) ·Zbl 1014.65050号 ·doi:10.1007/s101070100290
[26] Powell，M.J.D.：关于无导数无约束极小化的信赖域方法。数学。程序。97(3), 605-623 (2003) ·Zbl 1106.90382号 ·doi:10.1007/s10107-003-0430-6
[27] Powell，M.J.D.：满足插值条件的二次模型的最小Frobenius范数更新。数学。程序。100(1), 183-215 (2004) ·Zbl 1146.90526号 ·doi:10.1007/s10107-003-0490-7
[28] Powell，M.J.D.：关于无导数优化算法的观点。剑桥大学技术代表DAMTP 2007/NA03（2007）
[29] Powell，M.J.D.：无导数的有界约束优化的BOBYQA算法。剑桥大学技术代表DAMTP 2009/NA06（2009）
[30] Ralston，M.L.，Jennrich，R.I.：Dud，非线性最小二乘的无导数算法。技术计量学20（1），7-14（1978）·Zbl 0422.65006号 ·doi:10.1080/00401706.1978.10489610
[31] Scheinberg，K.，Toint，P.L.：无导数无约束优化基于模型算法中的自校正几何。SIAM J.Optim公司。20（6），3512-3532（2010）·Zbl 1209.65017号 ·数字对象标识代码：10.1137/090748536
[32] Tange，O.：GNU Parallel：命令行工具；登录USENIX Mag.36（1），42-47（2011）
[33] Wild，S.M.：《TAO中的POUNDER：用POUNDES解决无导数非线性最小二乘问题》，载于：《高级趋势优化》。与Eng.Appl。，第40章，第529-539页。宾夕法尼亚州费城SIAM（2017）
[34] Wild，S.M.，Regis，R.G.，Shoemaker，C.A.：ORBIT：通过信任区域中的径向基函数插值进行优化。SIAM J.科学。计算。30(6), 3197-3219 (2008) ·Zbl 1178.65065号 ·数字对象标识代码：10.1137/070691814
[35] Wild，S.M.，Shoemaker，C.A.：用于无导数优化的径向基函数信任域算法的全局收敛性。SIAM版本55（2），349-371（2013）·兹比尔1270.65028 ·数字对象标识代码：10.1137/120902434
[36] Winfield，D.：通过数据表中的插值实现函数最小化。IMA J.应用。数学。12(3), 339-347 (1973) ·Zbl 0274.90060号 ·doi:10.1093/imamat/12.3.339
[37] Zhang，H.，Conn，A.R.：关于最小二乘最小化的无导数算法的局部收敛性。计算。最佳方案。申请。51(2), 481-507 (2012) ·Zbl 1268.90043号 ·数字对象标识代码：10.1007/s10589-010-9367-x
[38] Zhang，H.，Conn，A.R.，Scheinberg，K.：最小二乘最小化的无导数算法。SIAM J.Optim公司。20(6), 3555-3576 (2010) ·Zbl 1213.65091号 ·数字对象标识码：10.1137/09075531X
[39] Zhang：软件作者：M.J.D.Powell教授。http://mat.uc.pt网站/zhang/software.html（2017）
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。