×
谢宇晨；理查德·伯德。；豪尔赫·诺塞达尔

BFGS方法的误差分析。 （英语） Zbl 1435.90149号

SIAM J.Optim公司。 30，第1期，182-209（2020）.
摘要：拟Newton方法的经典收敛性分析假设函数和梯度计算是精确的。在本文中，我们考虑了两个计算中都存在（有界）误差的情况，并建立了一些条件，在这些条件下，使用Armijo-Wolfe线搜索对BFGS算法稍作修改，就会收敛到由误差大小决定的解的邻域。我们的结果之一是对[R.H.伯德和J.诺塞达尔，SIAM J.数字。分析。26，第3期，727–739页（1989年；Zbl 0676.65061号)]，这表明，对于强凸函数，BFGS迭代的一部分是好的迭代。我们给出了数值结果，说明了新的BFGS方法在噪声存在下的性能。

引用于8文件

MSC公司：

90 C56 无导数方法和使用广义导数的方法
90C53型 拟Newton型方法
90立方 非线性规划

关键词：

非线性优化；准牛顿法；随机优化

引文：

Zbl 0676.65061号

软件：

IMFIL公司
PDF格式BibTeX公司 XML格式引用
\textit{Y.Xie}等人，SIAM J.Optim。30，第1号，182--209（2020；Zbl 1435.90149）
全文： 内政部 arXiv公司

参考文献：

[1] R.R.Barton，工程优化中的前向差分导数计算，工程优化。，20（1992年），第205-224页。
[2] A.S.Berahas、R.H.Byrd和J.Nocedal，通过拟Newton方法对噪声函数进行无导数优化，SIAM J.Optim。，29（2019），第965-993页·Zbl 1411.90359号
[3] R.Byrd、S.Hansen、J.Nocedal和Y.Singer，大规模优化的随机拟Newton方法，SIAM J.Optim。，26（2016），第1008-1031页·Zbl 1382.65166号
[4] R.H.Byrd和J.Nocedal，用于分析无约束极小化的拟Newton方法的工具，SIAM J.Numer。分析。，26（1989），第727-739页·Zbl 0676.65061号
[5] T.Choi和C.T.Kelley，超线性收敛和隐式滤波，SIAM J.Optim。，10（2000），第1149-1162页·Zbl 0994.65071号
[6] C.Paquette和K.Scheinberg，带收敛速度分析的随机线搜索方法，预印本，2018年·兹比尔1431.90153
[7] J.Dennis和H.Walker，《拟牛顿方法中的不精确性：局部改进定理》，《数学规划研究》，R.K.Korte B.编辑，《数学》。程序。Stud.22，施普林格，纽约，1984年·Zbl 0566.65038号
[8] R.M.Gower、D.Goldfarb和P.Richtaárik，《随机块BFGS：从数据中挤压出更多曲率》，第33届机器学习国际会议论文集，2016年。
[9] R.W.Hamming，《应用数值分析导论》，Courier，Chelmsford，MA，2012年·Zbl 0228.65002号
[10] C.T.Kelley，隐式过滤，软件环境。工具23，SIAM，费城，2011年·Zbl 1246.68017号
[11] J.J.Moreí和S.M.Wild，估算计算噪声，SIAM J.Sci。计算。，33（2011），第1292-1314页·Zbl 1243.65016号
[12] P.Moritz、R.Nishihara和M.Jordan，线性收敛随机L-BFGS算法，《第19届国际人工智能与统计会议论文集》，2016年，第249-258页。
[13] A.Nedicí和D.Bertsekas，增量次梯度算法的收敛速度，摘自《随机优化：算法和应用》，Springer，纽约，2001年，第223-264页·Zbl 0984.90033号
[14] J.Nocedal和S.Wright，《数值优化》，第二版，Springer，纽约，1999年·Zbl 0930.65067号
[15] M.Powell，无需精确线搜索的最小化变尺度算法的一些全局收敛性，收录于非线性规划，R.Cottle和C.Lemke，eds.，SIAM-AMS Proc。9，AMS，普罗维登斯，RI，1976年·Zbl 0338.65038号
[16] M.J.D.Powell，《非线性约束优化计算的快速算法》，载于《数值分析》，邓迪1977年，G.A.Watson主编，《数学讲义》。630，施普林格，纽约，1978年，第144-157页·Zbl 0374.65032号
[17] N.N.Schraudolph、J.Yu和S.Gu¨nter，在线凸优化的随机拟Newton方法，《国际人工智能与统计会议论文集》，2007年，第436-443页。
[18] T.J.Ypma，舍入误差对类牛顿法的影响，IMA J.Numer。分析。，3（1983年），第109-118页·Zbl 0519.65026号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。