On the complexity of a stochastic Levenberg-Marquardt method

Weiyi Shao; Jinyan Fan

doi:10.3934/jimo.2023113

文章内容

2024年第20卷, 第3版: 1011-1027. Doi公司：10.3934/即墨2023113

这个问题上一篇文章陈泰博近似分解方法的再认识下一篇文章政府对回收供应链系统的干预：创造可持续清洁环境的策略

关于随机Levenberg-Marquardt方法的复杂性

邵伟一^1, 和
金燕范^{1, 2, ,}

1
上海交通大学数学科学学院，上海200240
2
上海交通大学数学科学学院和教育部LSC，上海200240

^*通讯作者：范金燕
^*通讯作者：范金燕

收到日期： 2023年3月

修订日期： 2023年8月

提前访问： 2023年9月

发布时间： 2024年3月

第二作者获得了上海市科技攻关项目22JC1401500、国家自然科学基金11971309和中央高校基本科研业务费的资助

摘要/引言全文（HTML）图(2) 相关论文引用人

摘要

本文提出了一种求解非线性最小二乘问题的随机Levenberg-Marquardt算法。我们研究了该算法的全局复杂性，并导出了期望迭代次数的上界，以得到目标函数的梯度范数小于给定容差$\varepsilon$为$O（\varepsilon^{-2}）$的近似解。

关键词：

数学学科分类：一次：58F15、58F17；次要：53C35。

引用：

全文（HTML）

图1。 四个数据集上SGD、RES、IGN、LMRM和SLM方法的相对误差与时间

下载：全尺寸图像 PowerPoint幻灯片

图2。 四个数据集上SGD、RES、IGN、LMRM和SLM方法的相对误差与历元

下载：全尺寸图像 PowerPoint幻灯片

相关论文

引用人

工具书类

[1]	E.Bergou、Y.Diouane、V.Kungurtsev和C.W.Royer，使用随机模型的随机Levenberg-Marquardt方法及其在数据同化中的应用，SIAM/ASA J.不确定性。数量。,10(2022), 507–536,arXiv公司：1807.02176v1.doi（操作界面）：10.1137/20M1366253。
[2]	E.Bergou、Y.Diouane、V.Kungurtsev和C.Royer，使用具有复杂结果的随机模型的随机levenberg-marquardt方法，SIAM/ASA J.不确定性。数量。,10(2022), 507–536,arXiv公司：1807.02176v4.doi（操作界面）：10.1137/20M1366253。
[3]	E.贝尔古, S.格拉顿和L.N.维森特，基于概率梯度模型和不精确子问题解的Levenberg–marquardt方法，应用于数据同化，SIAM/ASA不确定性量化杂志,4(2016), 924-951. doi（操作界面）：10.1137/140974687.
[4]	L.博图, F.E.柯蒂斯和J.诺塞达尔、大规模机器学习的优化方法，SIAM审查,60(2018), 223-311. doi（操作界面）：10.1137/16M1080173。
[5]	R.H.伯德, S.L.汉森, J.诺塞达尔和Y.辛格，大规模优化的随机拟牛顿法，SIAM优化杂志,26(2016), 1008-1031. doi（操作界面）：10.1137/140954362.
[6]	C.购物车, N.I.M.古尔德和P.L.厕所无约束优化的自适应三次正则化方法。第二部分：最坏情况函数和衍生估值复杂性，数学。程序。序列号。A类,130(2011), 295-319. doi（操作界面）：10.1007/s10107-009-0337年。
[7]	C.C.Chang和C.J.Lin，LIBSVM：支持向量机库，ACM智能系统与技术汇刊,2（2011），1-27，软件可在网址：http://www.csie.ntu.edu.tw/~cjlin/libsvm.
[8]	E.Co嵌体，概率与随机，梯度。数学课文。，261.施普林格，纽约，2011年。doi（操作界面）：10.1007/978-0-387-87859-1.
[9]	A.R.Conn、N.I.Gould和P.L.Toint，信任域方法MPS/SIAM系列。最佳。，工业与应用数学学会（SIAM），费城，宾夕法尼亚州数学规划学会（MPS），费城，宾夕法尼亚州，2000年。doi（操作界面）：10.1137/1.9780898719857.
[10]	A.R.Conn、K.Scheinberg和L.N.Vicente，无导数优化导论MPS/SIAM系列。最佳。，8.工业与应用数学学会（SIAM），费城，宾夕法尼亚州数学规划学会（MPS），费城，宾夕法尼亚州，2009年。doi（操作界面）：10.1137/1.9780898718768.
[11]	J.迪彭，加速随机优化，统计年刊,31(2003), 1260-1281. doi（操作界面）：10.1214/aos/1059655913。
[12]	S.格拉顿, C.W.Royer公司, L.N.维森特和Z.Zhang先生，基于概率下降的直接搜索，SIAM优化杂志,25(2015), 1515-1541. doi（操作界面）：10.1137/140961602.
[13]	G.N.格拉维利亚, J.袁和Y.Yuan（元），关于无约束优化的信赖域和正则化方法的收敛性和最坏情况复杂性，数学。程序。序列号。A类,152(2015), 491-520. doi（操作界面）：2007年10月10日/10107-014-0794-9。
[14]	J.C.黄和J.Y.Fan先生，不精确Levenberg-Marquardt方法的全局复杂性界，《运营杂志》。Res.Soc.中国,6(2018), 417-428. doi（操作界面）：2007年10月10日/s40305-017-0184-0。
[15]	Y.Hong、H.Bergou、N.Doucet、H.Zhang、J.Cranney、H.Ltaief、D.Gratadour、F.Rigaut和D.E.Keyes，解决硬件加速器优化问题的随机Levenberg-Marquardt，提交给IEEE（2020）。
[16]	R.G.Laha和V.K.Rohatgi，概率论Wiley Ser。普罗巴伯。数学。统计人员。，John Wiley&Sons，纽约-芝加哥-布里斯班出版社，1979年。
[17]	A.莫赫塔里和A.里贝罗，Res:正则化随机BFGS算法，IEEE信号处理汇刊,62(2014), 6089-6104. doi（操作界面）：10.1109/TSP.2014.2357775。
[18]	Y.内斯特罗夫，具有全局性能最坏情况保证的修正Gauss-Newton方案，最佳方案。方法软件。,22(2007), 469-483. doi（操作界面）：10.1080/08927020600643812.
[19]	M.J.D.鲍威尔，一类最小化算法的收敛性，非线性规划，学术出版社，纽约-朗顿,2(1975), 1-27.
[20]	W.Y.Shao和J.Y.Fan，基于信任区域的随机Levenberg-Marquardt算法的全局收敛性，提交。
[21]	Q.Tran-Din公司, N.范和L.Nguyen女士，非凸成分优化的随机Gauss-Newton算法，机器学习国际会议,(2020), 9572-9582.
[22]	K.上田和N.山下，关于Levenberg-Marquardt方法的全局复杂性界，J.优化。理论应用。,147(2010), 443-453. doi（操作界面）：2007年10月10日/10957-010-9731-0。
[23]	K.上田和N.山下，非光滑方程的levenberg-marquardt方法的全局复杂性界分析及其在非线性互补问题中的应用，最优化理论与应用杂志,152(2012), 450-467. doi（操作界面）：2007年10月10日/s10957-011-9907-2。
[24]	H.余和B.M.威拉莫夫斯基, Levenberg–marquardt培训，CRC出版社，《智能系统》，2018年
[25]	J.Zhang和L.Xiao，非凸组合优化的随机方差缩减逼近线性算法，数学。程序。,195(2022), 649–691,arXiv:2004年。04357.doi（操作界面）：10.1007/s10107-021-01709-z。
[26]	L.赵, 马马多夫和J.耶尔伍德，从凸到非凸：二元分类的损失函数分析，2010年IEEE国际数据挖掘研讨会,(2010), 1281-1288.
[27]	R.X.赵和J.Y.范，Levenberg-Marquardt方法的全局复杂性界，最佳方案。方法软件。,31(2016), 805-814. doi（操作界面）：10.1080/10556788.2016.1179737.
[28]	R.X.赵和J.Y.Fan先生，基于非线性方程概率雅可比模型的Levenberg-Marquardt方法，计算。最佳方案。申请。,83(2022), 381-401. doi（操作界面）：10.1007/s10589-022-00393-9。
[29]	R.X.Zhao和J.Y.Fan，基于概率雅可比模型的Levenberg-Marquardt算法的复杂性界限，提交日期：2022年。