×
哈桑·穆罕默德;穆罕默德·优素福·瓦齐里

非线性最小二乘的结构化两点步长梯度法。 （英语） Zbl 1416.49036号

J.优化。理论应用。 181，第1号，298-317（2019）.
摘要：在本文中，我们提出了两种用于求解非线性最小二乘问题的结构化谱梯度方法。在所提出的方法中，通过引入结构化的拟Newton条件，得到了Hessian逆的标量乘单位逼近。此外，我们还提出了在负曲率方向情况下选择结构化标量的简单策略。利用非单调线搜索和二次插值回溯技术，我们证明了这些方法在适当的条件下是全局收敛的。数值实验表明，该方法与一些最新发展的方法具有竞争力。

引用于6文件

MSC公司：

49立方米 基于非线性规划的数值方法
65千5 数值数学规划方法
90 C56 无导数方法和使用广义导数的方法

关键词：

非线性最小二乘问题;谱梯度法;非单调线搜索;全球收敛

软件：

小背包
PDF格式BibTeX公司 XML格式引用
\textit｛H.Mohammad｝和\textit｛M.Y.Waziri｝，J.Optim。理论应用。181，编号1，298--317（2019；Zbl 1416.49036）
全文： 内政部 arXiv公司

参考文献：

[1] Golub，G.，Pereyra，V.：可分离非线性最小二乘法：变量投影法及其应用。反向探测。19（2），R1-R26（2003）·Zbl 1022.65014号
[2] Kim，S.、Koh，K.、Lustig，M.、Boyd，S.和Gorinevsky，D.：大规模的内点方法ℓ1-正则最小二乘法。IEEE J.选择。顶部。信号处理。1(4), 606-617 (2007)
[3] Li，J.，Ding，F.，Yang，G.：输入非线性有限脉冲响应移动平均系统的最大似然最小二乘辨识方法。数学。计算。模型。55(3-4), 442-450 (2012) ·Zbl 1255.93147号
[4] Hartley，H.O.：用最小二乘法拟合非线性回归函数的修正Gauss-Newton方法。技术计量学3（2），269-280（1961）·Zbl 0096.34603号
[5] Levenberg，K.：用最小二乘法解决某些非线性问题的方法。问：申请。数学。2(2), 164-168 (1944) ·Zbl 0063.03501号
[6] Marquardt，D.W.：非线性参数的最小二乘估计算法。J.Soc.Ind.申请。数学。11(2), 431-441 (1963) ·Zbl 0112.10505号
[7] Dennis Jr.，J.E.，Gay，D.M.，Walsh，R.E.：自适应非线性最小二乘算法。ACM事务处理。数学。柔和。（TOMS）7（3），348-368（1981）·Zbl 0464.65040号
[8] 丹尼斯·J。；Byrne，GD（编辑）；霍尔，CA（编辑），非线性最小二乘问题的一些计算技术，157-183（1973），纽约·Zbl 0275.65020号
[9] Spedicato，E.，Vespucci，M.T.：非线性最小二乘Gauss-Newton算法变化的数值实验。J.优化。理论应用。57(2), 323-339 (1988) ·Zbl 0619.90068号
[10] Wang，F.，Li，D.H.，Qi，L.：求解非线性最小二乘问题的Gauss-Newton-MBFGS方法的全局收敛性。高级模型。优化。12(1), 1-18 (2010) ·Zbl 1332.65087号
[11] Dennis，J.E.，Schnabel，R.B.：无约束优化和非线性方程的数值方法，第16卷。SIAM，大学城（1996）·Zbl 0847.65038号
[12] Knoll，D.A.，Keyes，D.E.：无雅可比的Newton-Krylov方法：方法和应用综述。J.计算。物理学。193(2), 357-397 (2004) ·Zbl 1036.65045号
[13] Xu，W.，Coleman，T.F.，Liu，G.：非线性最小二乘最小化的割线方法。计算。优化。申请。51(1), 159-173 (2012) ·Zbl 1245.90128号
[14] Xu，W.，Zheng，N.，Hayami，K.：非线性最小二乘问题的无雅可比隐式迭代预条件。科学杂志。计算。68(3), 1055-1081 (2016) ·Zbl 1352.65158号
[15] Al-Baali，M。；Pillo，G.（编辑）；Murli，A.（编辑），大规模非线性最小二乘的准Newton算法，1-21（2003），柏林·Zbl 1066.90139号
[16] Al-Baali，M.，Fletcher，R.：非线性最小二乘的变分方法。《运营杂志》。《研究社会》36（5），405-421（1985）·Zbl 0578.65064号
[17] Bartholomew-Biggs，M.C.：具有非零残差的非线性最小二乘问题中Hessian矩阵的估计。数学。程序。12(1), 67-80 (1977) ·Zbl 0365.65043号
[18] Betts，J.T.：解决非线性最小二乘问题：通用方法的应用。J.优化。理论应用。18(4), 469-483 (1976) ·Zbl 0304.49024号
[19] Dennis，J.E.，Martinez，H.J.，Tapia，R.A.：结构化BFGS割线方法的收敛理论及其在非线性最小二乘中的应用。J.优化。理论应用。61(2), 161-178 (1989) ·Zbl 0645.65026号
[20] Fletcher，R.，Xu，C.：非线性最小二乘的混合方法。IMA J.数字。分析。7(3), 371-389 (1987) ·Zbl 0648.65051号
[21] Lukšan，L.：大型稀疏非线性最小二乘的混合方法。J.优化。理论应用。89(3), 575-595 (1996) ·Zbl 0851.90118号
[22] McKeown，J.J.：最小化平方项和函数的专用算法与通用算法。数学。程序。9(1), 57-68 (1975) ·Zbl 0315.68036号
[23] Nazareth，L.：最小化非线性函数平方和的自适应方法。工作文件WP-83-099，IIASA，奥地利拉森堡（1983年）
[24] 袁永新：非线性方程和非线性最小二乘数值方法的最新进展。数字。代数控制优化。1(1), 15-34 (2011) ·兹比尔1226.65045
[25] Mohammad，H.，Waziri，M.Y.，Santos，S.A.：解决非线性最小二乘问题方法的简要概述。数字。代数控制优化。9(1), 1-13 (2019). https://doi.org/10.3934/naco.2019001 ·Zbl 1477.65094号 ·doi:10.3934/naco.2019001
[26] Barzilai，J.，Borwein，J.M.：两点步长梯度法。IMA J.数字。分析。8(1), 141-148 (1988) ·Zbl 0638.65055号
[27] Raydan，M.：关于Barzilai和Borwein梯度法步长的选择。IMA J.数字。分析。13(3), 321-326 (1993) ·Zbl 0778.65045号
[28] Raydan，M.：大规模无约束最小化问题的Barzilai和Borwein梯度法。SIAM J.Optim公司。7(1), 26-33 (1997) ·Zbl 0898.90119号
[29] Grippo，L.，Lampariello，F.，Lucidi，S.：牛顿方法的非单调线搜索技术。SIAM J.数字。分析。23(4), 707-716 (1986) ·Zbl 0616.65067号
[30] Dai，Y.H.，Zhang，H.：自适应两点步长梯度算法。数字。算法27（4），377-385（2001）·Zbl 0992.65063号
[31] Zhang，J.Z.，Deng，N.Y.，Chen，L.H.：无约束优化的新拟Newton方程和相关方法。J.优化。理论应用。102(1), 147-167 (1999). https://doi.org/10.1023/A:1021898630001 ·Zbl 0991.90135号 ·doi:10.1023/A：102189863001
[32] Dai，Y.，Yuan，J.，Yuang，Y.X.：无约束优化的改进的两点步长梯度法。计算。优化。申请。22(1), 103-109 (2002) ·Zbl 1008.90056号
[33] Mohammad，H.，Santos，S.A.：具有非线性最小二乘评估复杂性分析的结构化对角Hessian近似方法。计算。申请。数学。(2018). https://doi.org/10.1007/s40314-018-0696-1 ·Zbl 1413.90268号
[34] Xiao，Y.，Wang，Q.，Waing，D.：关于代元改进光谱梯度法的注释。J.计算。申请。数学。234(10), 2986-2992 (2010) ·Zbl 1195.65081号
[35] Biglari，F.，Solimanpur，M.：光谱梯度法的缩放。J.优化。理论应用。158(2), 626-635 (2013) ·Zbl 1272.90084号
[36] Liu，H.，Liu，Z.，Dong，X.：无约束优化的一种新的自适应Barzilai和Borwein方法。优化。莱特。12（4），845-873（2018）·Zbl 1403.90620号
[37] Liu，Z.，Liu，H.：用于大规模无约束优化的几种具有近似最优步长的有效梯度方法。J.计算。申请。数学。328（15），400-413（2018）·Zbl 1380.90256号
[38] Curtis，F.E.，Guo，W.：用有限记忆最速下降法处理非正曲率。IMA J.数字。分析。36（2），717-742（2016）·Zbl 1433.90123号
[39] Kafaki，S.B.，Fatemi，M.：无约束最小化的改进两点步长梯度算法。优化。方法软件。28(5), 1040-1050 (2013) ·Zbl 1278.90448号
[40] Luengo，F.，Raydan，M.：大规模优化问题的动态延迟梯度法。电子。事务处理。数字。分析。16, 186-193 (2003) ·Zbl 1134.90496号
[41] Zhang，H.，Hager，W.W.：非单调线搜索技术及其在无约束优化中的应用。SIAM J.Optim公司。14(4), 1043-1056 (2004) ·Zbl 1073.90024号
[42] Moré，J.J.，Garbow，B.S.，Hillstrom，K.E.：测试无约束优化软件。ACM事务处理。数学。柔和。TOMS 7（1），17-41（1981）·Zbl 0454.65049号
[43] La Cruz，W.，Martínez，J.M.，Raydan，M.：求解大型非线性系统的无梯度信息谱残差法：理论与实验。技术报告RT-04-08，委内瑞拉中央大学（2004）。http://kuainasi.ciens.ucv.ve/mraydan/download_papers/TechRep.pdf ·Zbl 1122.65049号
[44] Gonçalves，D.S.，Santos，S.A.：应用于二次剩余问题的Gauss-Newton模型光谱校正的局部分析。数字。算法73（2），407-431（2016）·Zbl 1357.90152号
[45] Lukšan，L.，Vlcek，J.：无约束优化的测试问题。捷克共和国科学院计算机科学研究所技术报告897（2003年）·Zbl 1108.90029号
[46] Jamil，M.，Yang，X.S.：关于全局优化问题基准函数的文献综述。国际数学杂志。模型。数字。优化。4(2), 150-194 (2013) ·Zbl 1280.65053号
[47] Incerti，S.，Zirilli，F.，Parisi，V.：算法111：用于求解非线性联立方程组的fortran子程序。计算。J.24（1），87-90（1981）。https://doi.org/10.1093/comjnl/241.87 ·Zbl 0484.65030号 ·doi:10.1093/comjnl/241.87
[48] Santos，S.A.，Silva，R.C.M.：平滑无约束最小化的非精确非单调近似方法。J.计算。申请。数学。269, 86-100 (2014) ·兹比尔1293.49072
[49] Dolan，E.D.，Moré，J.J.：用性能曲线对优化软件进行基准测试。数学。程序。91（2），201-213（2002）·邮编：1049.90004
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。