×
布莱恩·欧文;埃尔达·哈伯

正割惩罚BFGS：一种通过惩罚正割条件的抗噪准Newton方法。 （英语） Zbl 1516.90100号

计算。最佳方案。申请。 84，第3期，651-702（2023）.
小结：在本文中，我们介绍了BFGS方法的一种新变体，旨在在梯度测量受到噪声干扰时表现良好。我们证明，用正则化最小二乘估计激励的惩罚方法处理割线条件，会在一个极端生成一个参数族，其中原始BFGS更新，而在另一个极端不更新逆Hessian近似。此外，我们发现曲率条件随着族趋向于不更新逆Hessian近似而放松，并且在逆Hessia近似未更新的极端完全消失。这些发展使我们能够开发一种称为正割惩罚BFGS（SP-BFGS）的方法，该方法允许人们根据梯度测量中的噪声量放松正割条件。SP-BFGS提供了一种增量更新新的逆Hessian近似的方法，该方法对之前的逆Hesian近似有一定的偏差，这使得人们可以用一种平均特性来代替原始BFGS更新的覆盖特性，这种平均特性可以抵抗噪声的破坏性影响，并可以处理负曲率测量。我们讨论了SP-BFGS的理论性质，包括在存在一致有界噪声的情况下最小化强凸函数时的收敛性。最后，我们使用CUTEst测试问题集中的30多个问题进行了广泛的数值实验，证明了SP-BFGS在存在噪声函数和梯度评估的情况下，与BFGS相比，具有优越的性能。

引用于1文件

MSC公司：

90立方 非线性规划
90元53 拟Newton型方法

关键词：

拟牛顿算法;正割条件;惩罚方法;最小二乘估计;测量误差;噪声鲁棒优化

软件：

切割机;LBFGS-B型;github;小背包;NLP模型.jl;切割估算jl;朱莉娅;分配.jl;L-BFGS公司;12月6日;CUTEst公司;IMFIL公司;MDTri公司
PDF格式BibTeX公司 XML格式引用
\textit{B.Irwin}和\textit{E.Haber}，计算。最佳方案。申请。84，编号3，651-702（2023；Zbl 1516.90100）
全文： DOI程序 arXiv公司

参考文献：

[1] 艾丁，L。；O.艾丁。；阿特姆，HS；Mert，A.，使用有效的全局优化方法设计尺寸稳定的复合材料，Proc。仪器机械。工程第L部分：J.Mater。设计应用。，233, 2, 156-168 (2019) ·doi:10.1177/1464420716664921
[2] Berahas，AS；伯德，RH；Nocedal，J.，通过拟牛顿方法对噪声函数进行无导数优化，SIAM J.Optim。，29, 965-993 (2019) ·Zbl 1411.90359号 ·doi:10.1137/18M1177718
[3] Besançon，M.、Anthoff，D.、Arslan，A.、Byrne，S.、Lin，D.、Papamarkou，T.、Pearson，J.：分布。jl：juliastats生态系统中概率分布的定义和建模。arXiv电子版arXiv：1907.08611（2019）
[4] Bezanson，J。；Edelman，A。；卡宾斯基，S。；Shah，VB，Julia:数值计算的新方法，SIAM Rev.，59，1，65-98（2017）·Zbl 1356.68030号 ·数字对象标识代码：10.1137/141000671
[5] 苯教，NP；何，X。；加利福尼亚州马德尔；Martins，JRRA，气动机翼设计优化中的多模态，AIAA J.，57，3，1004-1018（2019）·doi:10.2514/1.J057294
[6] Broyden，CG，一类双秩最小化算法的收敛性1。一般考虑，IMA J.Appl。数学。，6, 1, 76-90 (1970) ·Zbl 0223.65023号 ·doi:10.1093/imamat/6.1.76
[7] 伯德，RH；汉森，SL；Nocedal，J。；Singer，Y.，大规模优化的随机拟牛顿法，SIAM J.Optim。，26, 2, 1008-1031 (2016) ·Zbl 1382.65166号 ·数字对象标识代码：10.1137/140954362
[8] 伯德，RH；卢，P。；Nocedal，J。；Zhu，C.，边界约束优化的有限内存算法，SIAM J.Sci。计算。，16, 5, 1190-1208 (1995) ·Zbl 0836.65080号 ·doi:10.1137/0916069
[9] 伯德，RH；Nocedal，J.，《应用于无约束最小化的拟牛顿法分析工具》，SIAM J.Numer。分析。，26, 3, 727-739 (1989) ·Zbl 0676.65061号 ·doi:10.2307/2157680
[10] 伯德，RH；Nocedal，J。；袁，YX，凸问题上一类拟牛顿方法的全局收敛性，SIAM J.Numer。分析。，24, 5, 1171-1190 (1987) ·兹比尔0657.65083 ·doi:10.2307/2157646
[11] Chang，D。；Sun，S。；Zhang，C.，加速线性收敛随机L-BFGS算法，IEEE Trans。神经网络。学习。系统。，30, 11, 3338-3346 (2019) ·doi:10.1109/TNNLS.2019.2891088
[12] Fasano，G.，Pintér，J.D.：空间工程中的建模和优化：现状和新挑战。斯普林格（2019）。doi:10.1007/978-1-4614-4469-5·Zbl 1415.49001号
[13] Fletcher，R.，可变度量算法的新方法，计算。J.，13，3，317-322（1970）·Zbl 0207.17402号 ·doi:10.1093/comjnl/13.3317
[14] 加尔·R。；哈伯，E。；欧文，B。；萨利赫，B。；Ziv，A.，《如何在沙漠中捕捉狮子：关于覆盖定向生成（CDG）问题的解决方案》，Optim。工程师，22，217-245（2021）·Zbl 1473.90180号 ·doi:10.1007/s11081-020-09507-w
[15] Goldfarb，D.，由变分平均值导出的一系列变分度量方法，数学。计算。，24, 109, 23-26 (1970) ·Zbl 0196.18002号 ·doi:10.2307/2004873
[16] Gould，N.I.M.，Orban，D.，撰稿人：优化软件的带安全线程的约束和非约束测试环境（CUTEst）。https://github.com/ralna/CUTEst网站 (2019)
[17] Gould，N.I.M.，Orban，D.，Toint，P.L.：重新审视了CUTEr一个约束和非约束的测试环境。网址：https://www.cuter.rl.ac.uk (2001)
[18] 古尔德，NIM；Orban，D。；Toint、PL、CUTEr和SifDec：约束和非约束测试环境，重访ACM Trans。数学。软质。，29, 4, 373-394 (2003) ·Zbl 1068.90526号 ·数字对象标识代码：10.1145/962437.96243439
[19] 古尔德，NIM；Orban，D。；Toint，PL，CUTEst：一个有约束和无约束的测试环境，具有用于数学优化的安全线程，Compute。最佳方案。申请。，60, 3, 545-557 (2015) ·兹比尔1325.90004 ·doi:10.1007/s10589-014-9687-3
[20] Gower，R.，Goldfarb，D.，Richtarik，P.：随机块BFGS：从数据中挤出更多曲率。收录于：Balcan，M.F.，Weinberger，K.Q.（编辑）《第33届机器学习国际会议论文集》，《机器学习研究论文集》第48卷，第1869-1878页。PMLR，纽约，美国纽约（2016）。http://proceedings.mlr.press/v48/gower16.html
[21] 宾夕法尼亚州格拉芙；Billups，S.，MDTri:多个三元合金空间的稳健高效全局混合整数搜索，计算。最佳方案。申请。，68, 3, 671-687 (2017) ·Zbl 1391.90431号 ·doi:10.1007/s10589-017-9922-9
[22] Güler，O。；Gürtuna，F。；Shevchenko，O.，拟牛顿方法中的对偶性以及DFP和BFGS更新的新变分特征，Optim。方法软件。，24, 1, 45-62 (2009) ·Zbl 1154.90624号 ·doi:10.1080/10556780802367205
[23] Hager，WW，更新矩阵的逆矩阵，SIAM Review，31，2，221-239（1989）·Zbl 0671.65018号 ·doi:10.2307/2030425
[24] 喇叭，RA；Johnson，CR，矩阵分析（2013），纽约：剑桥大学出版社，纽约·Zbl 1267.15001号 ·doi:10.1017/CBO9781139020411
[25] Johnson，R.，Zhang，T.：使用预测方差减少加速随机梯度下降。摘自：《神经信息处理系统进展》，第315-323页（2013年）。doi:10.5555/2999611.2999647
[26] Johnson，S.G.：准牛顿优化：BFGS更新的起源（2019）。https://ocw.mit.edu/courses/mathematics/18-335j-introduction-to-numerical-methods-spring-2019/week-11/MIT18_335JS19_lec30.pdf
[27] Keane，A.J.，Nair，P.B.：航空航天设计的计算方法：追求卓越。威利（2005）。doi:10.1002/0470855487
[28] Kelley，C.，隐式过滤（2011），费城：SIAM，费城·Zbl 1246.68017号 ·doi:10.1137/1.9781611971903
[29] Koziel，S.，Ogurtsov，S.：模拟驱动优化天线设计。斯普林格（2014）。doi:10.1007/978-3-319-04367-8·Zbl 1283.90001号
[30] 路易斯，AS；Overton，ML，通过拟牛顿方法进行的非光滑优化，数学。程序。，141, 135-163 (2013) ·Zbl 1280.90118号 ·doi:10.1007/s10107-012-0514-2
[31] Lin，D.，White，J.M.，Byrne，S.，Bates，D.，Noack，A.，Pearson，J.，Arslan，A.，Squire，K.，Anthoff，D.，Papamarkou，T.，Besançon，M.，Drugowitsch，J.，Schauer，M.，其他贡献者：JuliaStats/Distributions.jl：概率分布和相关函数的Julia包。https://github.com/JuliaStats/Distributions.jl (2019). doi:10.5281/zenodo.2647458
[32] 刘，DC；Nocedal，J.，《关于大规模优化的有限内存BFGS方法》，数学。程序。，45, 1, 503-528 (1989) ·Zbl 0696.90048号 ·doi:10.1007/BF01589116
[33] 莫赫塔里，A。；Ribeiro，A.，在线有限内存BFGS的全局收敛，J.Mach。学习。研究，16，1，3151-3181（2015）·Zbl 1351.90124号 ·doi:10.5555/2789272.2912100
[34] Moritz，P.，Nishihara，R.，Jordan，M.：线性收敛随机L-BFGS算法。收录：Gretton，A.，Robert，C.C.（编辑）《第19届国际人工智能与统计会议论文集》，《机器学习研究论文集》第51卷，第249-258页。PMLR，西班牙加的斯（2016）。http://proceedings.mlr.press/v51/moritz16.html
[35] Muñoz-Rojas，P.A.：先进工程材料的计算建模、优化和制造模拟。斯普林格（2016）。doi:10.1007/978-3-319-04265-7·Zbl 1356.74006号
[36] Nocedal，J。；Wright，S.，《数值优化》（2006），纽约：Springer，纽约·Zbl 1104.65059号 ·doi:10.1007/978-0-387-40065-5
[37] Orban，D.，Siqueira，A.S.，撰稿人：CUTEst.jl:Julia的CUTEst界面。https://github.com/JuliaSmoothOptimizers/CUTEst.jl (2020). doi:10.5281/zenodo.1188851
[38] Orban，D.，Siqueira，A.S.，贡献者：NLPModels.jl：优化模型的数据结构。https://github.com/JuliaSmoothOptimizers/NLPModels.jl (2020). doi:10.5281/zenodo.2558627
[39] Powell，MJD，使用拉格朗日函数的非线性约束算法，数学。程序。，14, 1, 224-248 (1978) ·Zbl 0383.90092号 ·doi:10.1007/BF01588967
[40] Rosenbrock，HH，一种寻找函数最大值或最小值的自动方法，Comput。J.，3，3，175-184（1960）·doi:10.1093/comjnl/3.3.175
[41] Schraudolph，N.N.，Yu，J.，Günter，S.：在线凸优化的随机拟牛顿方法。载：Meila，M.，Shen，X.（编辑）《第十一届国际人工智能与统计会议论文集》，《机器学习研究论文集》，第2卷，第436-443页。波多黎各圣胡安PMLR（2007年）。http://proceedings.mlr.press/v2/schraudolph07a.html
[42] Shanno，DF，函数极小化拟牛顿方法的条件处理，数学。计算。，24, 111, 647-656 (1970) ·Zbl 0225.65073号 ·doi:10.2307/2004840
[43] 石，HJM；谢毅。；伯德·R。；Nocedal，J.，无约束优化的一种容错拟牛顿算法，SIAM J.Optim。，32, 1, 29-55 (2022) ·Zbl 1484.90117号 ·数字对象标识代码：10.1137/20M1373190
[44] 王，X。；马，S。；Goldfarb，D。；刘伟，非凸随机优化的随机拟牛顿方法，SIAM J.Optim。，27, 2, 927-956 (2017) ·Zbl 1365.90182号 ·doi:10.1137/15M1053141
[45] 谢毅。；伯德，RH；Nocedal，J.，BFGS方法的误差分析，SIAM J.Optim。，30, 1, 182-209 (2020) ·Zbl 1435.90149号 ·doi:10.1137/19M1240794
[46] 赵，R。；哈斯克尔，WB；Tan，VYF，《随机L-BFGS:改进的收敛速度和实际加速策略》，IEEE Trans。信号处理。，66, 1155-1169 (2018) ·兹比尔1414.94746 ·doi:10.1109/TSP.2017.2784360
[47] 朱，J.：电力系统运行优化。威利（2008）。doi:10.1002/9780470466971
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。