×
鲍继峰;Yu，Carisa郭伟;王金华;胡耀华;姚仁智

求解非线性最小二乘问题的修正不精确Levenberg-Marquardt方法。 （英语） Zbl 1425.90112号

计算。最佳方案。申请。 74，第2期，547-582（2019）.
摘要：在本文中，我们提出了一种改进的不精确Levenberg-Marquardt方法（LMM）及其全局版本，利用Armijo、Wolfe或Goldstein线性搜索方案来解决非线性最小二乘问题（NLSP），特别是在欠定情况下。在局部误差界条件下，我们证明了对于某些特殊参数，由修正的不精确LMM生成的序列收敛到超线性甚至二次解，从而改进了经典的不精确LMM的相应结果[H.丹等人，Optim。方法软件。17，第4期，605–626（2002年；Zbl 1030.65049号)]. 此外，还建立了修正不精确LMM全局版本的二次收敛性。最后，在一些中/大规模欠定NLSP上的初步数值实验表明，我们提出的算法优于经典的不精确LMM。

引用于2文件

MSC公司：

90立方 非线性规划
65千5 数值数学规划方法
90C25型 凸面编程

关键词：

非线性最小二乘问题;不精确Levenberg-Marquardt方法;利普希茨条件;本地错误界限

引文：

Zbl 1030.65049号

软件：

小背包;UTV公司
PDF格式BibTeX公司 XML格式引用
\textit｛J.Bao｝等人，计算机。最佳方案。申请。74，第2号，547--582（2019；Zbl 1425.90112）
全文： DOI程序

参考文献：

[1] Ahookhosh，M.，Aragón，F.J.，Fleming，R.M.T.，Vungx，P.T.：在Hölder度量次区域性下Levenberg-Marquardt方法的局部收敛性。arXiv:1703.074612017年3月21日
[2] Armijo，L.：具有连续偏导数的函数的最小化。派克靴。数学杂志。16, 1-3 (1966) ·兹比尔0202.46105 ·doi:10.2140/pjm.1966.16.1
[3] Bao，J.F.，Li，C.，Shen，W.P.，Yao，J.C.，Guu，S.M.：求解欠定非线性最小二乘问题的近似Gauss-Newton方法。申请。数字。数学。111, 92-110 (2017) ·Zbl 1353.65042号 ·doi:10.1016/j.apnum.2016.08.007
[4] Behling，R.、Fischer，A.、Herrich，M.、Iusem，A.、Ye，Y.：具有近似投影的Levenberg-Marquardt方法。计算。最佳方案。申请。59, 5-26 (2014) ·兹比尔1298.90103 ·doi:10.1007/s10589-013-9573-4
[5] Ben-Israel，A.：求解方程组的Newton-Raphson方法。数学杂志。分析。申请。15, 243-252 (1966) ·Zbl 0139.10301号 ·doi:10.1016/0022-247X（66）90115-6
[6] Bertsekas，D.P.：非线性规划。雅典娜科学，贝尔蒙特（1995）·Zbl 0935.90037号
[7] Björk，A.：最小二乘问题的数值方法。SIAM，费城（1996）·Zbl 0847.65023号 ·doi:10.1137/1.9781611971484
[8] Bonnans，J.F.，Ioffe，A.：非孤立极小的二阶充分性和二次增长。数学。操作人员。第20号决议，801-817（1995年）·Zbl 0846.90095号 ·doi:10.1287/门20.4.801
[9] Burke，J.V.，Ferris，M.C.：数学规划中的弱尖锐极小值。SIAM J.控制优化。31, 1340-1359 (1993) ·Zbl 0791.90040号 ·数字对象标识代码：10.1137/0331063
[10] Burke，J.V.，Ferris，M.C.：凸组合优化的Gauss-Newton方法。数学。程序。71, 179-194 (1995) ·Zbl 0846.90083号
[11] Courtier，P.，Thepaut，J.N.，Hollingsworth，A.：使用增量方法的4D-Var作战实施策略。夸脱。J.R.气象。Soc.1201367-1387（1994）·doi:10.1002/qj.49712051912
[12] Dan，H.，Yamashita，N.，Fukushima，M.：局部误差界条件下不精确Levenberg-Marquardt方法的收敛性。最佳方案。方法软件。17, 605-626 (2002) ·Zbl 1030.65049号 ·doi:10.1080/1055678021000049345
[13] Dembo，R.S.、Eisenstat，S.C.、Steihaug，T.：不精确牛顿法。SIAM J.数字。分析。19, 400-408 (1982) ·Zbl 0478.65030号 ·doi:10.1137/0719025
[14] Dennis，J.E.，Schnabel，R.B.：无约束优化和非线性方程的数值方法。普伦蒂斯·霍尔，恩格尔伍德悬崖（1983年）·Zbl 0579.65058号
[15] Deufhard，P.，Heindl，G.：牛顿方法的仿射不变收敛定理以及相关方法的扩展。SIAM J.数字。分析。16(1), 1-10 (1979) ·Zbl 0395.65028号 ·doi:10.1137/0716001
[16] Fan，J.Y.，Pan，J.Y:局部误差界条件下自适应Levenberg-Marquardt算法的收敛性。计算。最佳方案。申请。34, 47-62 (2006) ·Zbl 1111.90103号 ·doi:10.1007/s10589-005-3074-z
[17] Fan，J.Y.，Pan，J.Y:非线性方程的非精确Levenberg-Marquardt方法。离散连续。动态。系统。序列号。B 41223-1232（2004）·Zbl 1059.65043号 ·doi:10.3934/cdsb.2004.4.1223
[18] Fan，J.Y.，Pan，J.Y:关于不精确Levenberg-Marquardt方法的收敛速度。J.工业管理。最佳方案。7, 199-210 (2011) ·Zbl 1214.90112号 ·doi:10.3934/jimo.2011.7.199
[19] Fan，J.Y.，Yuan，Y.X.：关于无非奇异性假设的Levenberg-Marquardt方法的二次收敛性。计算74，23-39（2005）·Zbl 1076.65047号 ·doi:10.1007/s00607-004-0083-1
[20] Fischer，A.，Shukla，P.K.：无约束多准则优化的Levenberg-Marquardt算法。操作人员。Res.Lett公司。36, 643-646 (2008) ·Zbl 1210.90155号 ·doi:10.1016/j.orl.2008.02.006
[21] Fischer，A.，Shukla，P.K.，Wang，M.：关于鲁棒Levenberg-Marquardt方法的不精确性水平。优化59，273-287（2010）·Zbl 1196.65097号 ·doi:10.1080/02331930801951256
[22] 郭，L.，林，G.H.，叶，J.J.：求解具有平衡约束的数学规划。J.优化。理论应用。166, 234-256 (2015) ·Zbl 1327.90233号 ·doi:10.1007/s10957-014-0699-z
[23] Hanson，P.C.：秩亏和离散不适定问题：线性反演的数值方面。SIAM，费城（1998）·Zbl 0890.65037号 ·数字对象标识代码：10.1137/1.9780898719697
[24] Häußer，W.M.：Gauss-Newton方法的Kantorovich型收敛分析。数字。数学。48, 119-125 (1986) ·兹比尔0598.65025 ·doi:10.1007/BF01389446
[25] 霍夫曼，A.J.：关于线性不等式组的近似解。《国家研究杂志》。伯尔。站立。49, 263-265 (1952) ·doi:10.6028/jres.049.027
[26] Horn，R.A.，Johnson，C.R.：矩阵分析。剑桥大学出版社，纽约（1985）·兹比尔0576.15001 ·doi:10.1017/CBO9780511810817
[27] Hu，Y.H.，Li，C.，Meng，K.W.，Qin，J.，Yang，X.Q.：通过\[ell_{p，Q}\]进行群稀疏优化ℓp、 q正则化。J.马赫。学习。第18号决议，1-52（2017年）·兹比尔1433.90202
[28] Hu，Y.H.，Li，C.，Yang，X.Q.：凸组合优化线性化近似算法的收敛速度及其应用。SIAM J.Optim公司。26, 1207-1235 (2016) ·Zbl 1338.65159号 ·数字对象标识代码：10.1137/140993090
[29] Hu，Y.H.，Yang，X.Q.，Sim，C.-K.：拟凸优化问题的非精确次梯度方法。欧洲药典。第240号决议、第315-327号决议（2015年）·Zbl 1357.90116号 ·doi:10.1016/j.ejor.2014.05.017
[30] Kiwiel，K.C.，Murty，K.：最小化拟凸函数的最速下降法的收敛性。J.优化。理论应用。89(1), 221-226 (1996) ·Zbl 0866.90094号 ·doi:10.1007/BF02192649
[31] Lawless，A.S.，Gratton，S.，Nichols，N.K.：使用非线性模型对增量4D Var的研究。夸脱。J.R.气象。Soc.131，459-476（2005）·doi:10.1256/qj.04.20
[32] Levenberg，K.：用最小二乘法解决某些非线性问题的方法。夸脱。申请。数学。2, 164-166 (1944) ·Zbl 0063.03501号 ·doi:10.1090/qam/10666
[33] Li，G.：关于凸多项式的渐近良性函数和全局误差界。SIAM J.Optim公司。20(4), 1923-1943 (2010) ·Zbl 1208.90135号 ·doi:10.1137/080733668
[34] Li，G.：分段凸多项式的全局误差界。数学。程序。137, 37-64 (2013) ·Zbl 1270.90080 ·doi:10.1007/s10107-011-0481-z
[35] Li，C.，Hu，N.C.，Wang，J.H.：Gauss-Newton方法的收敛性和Smale点估计理论的扩展。J.复杂。26, 268-295 (2010) ·Zbl 1192.65057号 ·doi:10.1016/j.jco.2010.02.001
[36] Li，C.，Wang，X.：关于凸组合优化的Gauss-Newton方法的收敛性。数学。程序。91, 349-356 (2002) ·Zbl 1049.90132号 ·doi:10.1007/s101070100249
[37] Luo，X.D.，Luo，Z.Q.：霍夫曼误差界到多项式系统的推广。SIAM J.Optim公司。4, 383-392 (1994) ·Zbl 0821.90113号 ·doi:10.1137/0804021
[38] Luo，Z.Q.，Pang，J.S.：分析系统的误差界及其应用。数学。程序。67, 1-28 (1994) ·Zbl 0813.90116号 ·doi:10.1007/BF01582210
[39] Macconi，M.，Morini，B.，Porcelli，M.:求解有界约束欠定非线性系统的Gauss-Newton方法。最佳方案。方法软件。24, 219-235 (2009) ·Zbl 1181.90289号 ·doi:10.1080/10556780902753031
[40] Marquardt，D.W.：非线性不等式的最小二乘估计算法。SIAM J.应用。数学。11, 431-441 (1963) ·Zbl 0112.10505号 ·数字对象标识代码：10.1137/011030
[41] 莫雷，JJ；GA Watson（编辑），《Levenberg-Marquardt算法：实现与理论》，105-116（1978），纽约·Zbl 0372.65022号
[42] Moré，J.J.，Garbow，B.S.，Hillstrom，K.E.：测试无约束优化软件。ACM事务处理。数学。柔和。7, 17-41 (1981) ·Zbl 0454.65049号 ·数字对象标识代码：10.1145/355934.355936
[43] Ngai，H.V.，Théra，M.：Banach空间中凸可微不等式系统的误差界。数学。程序。104, 465-482 (2005) ·Zbl 1089.49028号 ·doi:10.1007/s10107-005-0624-1
[44] Nocedal，J.、Wright，S.J.：数值优化。纽约施普林格出版社（1999年）·Zbl 0930.65067号 ·数字对象标识代码：10.1007/b98874
[45] Pang，J.S.：数学规划中的误差界。数学。程序。79, 299-332 (1997) ·Zbl 0887.90165号
[46] Porcelli，M.：关于具有简单边界的非线性最小二乘问题的不精确Gauss-Newton信赖域方法的收敛性。最佳方案。莱特。7, 447-465 (2013) ·Zbl 1268.90091号 ·doi:10.1007/s11590-011-0430-z
[47] Stewart，G.W.，Sun，J.G.：矩阵摄动理论。纽约学术出版社（1990）·Zbl 0706.65013号
[48] Studniarski，M.，Ward，D.E.：弱尖锐极小：特征和充分条件。SIAM J.控制优化。38, 219-236 (1999) ·Zbl 0946.49011号 ·doi:10.137/S0363012996301269
[49] 孙伟，袁永新：优化理论与方法：非线性规划。施普林格，纽约（2006）·邮编1129.90002
[50] Wang，J.H.，Hu，Y.H.，Li，C.，Yao，J.-C.：CQ算法的线性收敛性及其在基因调控网络推理中的应用。反向探测。33, 055017 (2017) ·Zbl 1368.65080号 ·doi:10.1088/1361-6420/aa6699
[51] Yamashita，N.，Fukushima，M.：关于Levenberg-Marquardt方法的收敛速度。计算。补充15，239-249（2001）·Zbl 1001.65047号 ·数字对象标识代码：10.1007/978-3-7091-6217-0_18
[52] Yang，W.H.：凸多项式的误差界。SIAM J.Optim公司。1633-1647年（2008年）·Zbl 1191.47068号 ·数字对象标识代码：10.1137/070689838
[53] Ypma，T.J.：Newton-Raphson方法的历史发展。SIAM修订版37，531-551（1995）·Zbl 0842.01005号 ·doi:10.1137/1037125
[54] Zhu，X.，Lin，G.H.：非线性方程的修正Levenberg-Marquardt方法的改进收敛结果及其在MPCC中的应用。最佳方案。方法软件。31, 791-804 (2016) ·Zbl 1386.90154号 ·doi:10.1080/10556788.2016.1171863
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。