×
阿尔伯特·S·贝拉哈斯。;理查德·伯德。;豪尔赫·诺塞达尔

基于拟Newton方法的噪声函数无导数优化。 （英文） Zbl 1411.90359号

SIAM J.Optim公司。 29，第2965-993号（2019）.
摘要：本文提出了一种用于噪声函数最小化的有限差分拟牛顿法。该方法充分利用了BFGS更新的可扩展性和强大功能，并基于以下噪声估计技术，采用自适应过程来选择差分间隔R.W.汉明【应用数值分析导论。再版。纽约等：半球出版公司（1989；Zbl 0705.65002号)]和J.J.Moré和S.M.野生[SIAM J.Sci.Compute.33，No.3，1292-1314（2011；Zbl 1243.65016号)]. 这种噪声估计程序和（h）的选择虽然便宜，但并不总是准确的，为了防止失败，该算法采用了一种恢复机制，在线性搜索程序无法产生可接受点的情况下，该机制会采取适当的措施。提出了一种新的收敛性分析方法，该方法考虑了噪声线搜索过程的影响。将该方法与函数插值信赖域方法进行了数值实验比较。

引用于22文件

MSC公司：

90 C56 无导数方法和使用广义导数的方法
90元53 拟牛顿型方法
90立方厘米 非线性规划

关键词：

无导数优化;非线性优化;随机优化

引文：

Zbl 0705.65002号;Zbl 1243.65016号

软件：

应用程序空间;mctoolbox软件;NOMAD公司;轨道;多最小值;DFO公司;楔块;IMFIL公司;UOBYQA公司;NEWUOA公司
PDF格式BibTeX公司 XML格式引用
\textit{A.S.Berahas}等人，SIAM J.Optim。29，第2号，965--993（2019；Zbl 1411.90359）
全文： 内政部 arXiv公司

参考文献：

[1] M.A.Abramson、C.Audet、G.Couture、J.E.Dennis，Jr.、S.Le Digabel和C.Tribes{T型NOMAD项目}，2011年；代码位于。
[2] C.Audet和J.E.Dennis，Jr{M（M）用于约束优化的esh自适应直接搜索算法}、SIAM J.Optim。，17（2006），第188-217页·Zbl 1112.90078号
[3] R.R.Barton{C类工程优化中的前向差分导数计算}，工程优化。，20（1992年），第205-224页。
[4] H.H.Bauschke、W.L.Hare和W.M.Moursi{A类凸优化的无导数协差算法}，Optim。方法软件。，30（2015），第706-726页·Zbl 1328.90104号
[5] D.P.贝尔塞卡斯{C类凸优化算法}，Athena Scientific，Nashua，NH，2015·Zbl 1347.90001号
[6] A.D.Bethke{G公司作为函数优化器的遗传算法，密歇根大学计算机与通信科学系博士论文，1980年。
[7] L.Bottou、F.E.Curtis和J.Nocedal{O（运行）大规模机器学习的优化方法}，SIAM Rev.，60（2018），第223-311页·Zbl 1397.65085号
[8] T.Choi和C.T.Kelley{S公司超线性收敛与隐式滤波}，SIAM J.Optim。，10（2000），第1149-1162页·Zbl 0994.65071号
[9] A.R.Conn、K.Scheinberg和P.L.Toint{O（运行）《无约束优化的无导数方法的收敛性》，摘自《逼近理论与优化：向M.J.D.鲍威尔致敬》，剑桥大学出版社，1997年，第83-108页·Zbl 1042.90617号
[10] A.R.Conn、K.Scheinberg和P.L.Toint{A类无导数优化算法在实践中的应用}，载于《第七届美国航空航天局/美国空军/美国国家航空航天局/ISSMO多学科分析与优化研讨会论文集》，美国航空航天研究所，弗吉尼亚州雷斯顿，1998年。
[11] A.R.Conn、K.Scheinberg和L.N.Vicente{G公司无导数优化中样本集的几何：多项式回归和欠定插值}，IMA J.Numer。分析。，28（2008），第721-748页·Zbl 1157.65034号
[12] A.R.Conn、K.Scheinberg和L.N.Vicente{我介绍无导数优化}，MOS-SIAM Ser。最佳方案。8，宾夕法尼亚州费城SIAM，2009年·Zbl 1163.49001号
[13] J.E.Dennis，Jr.和V.Torczon{D类并行机上的直接搜索方法}，SIAM J.Optim。，1（1991），第448-474页·Zbl 0754.90051号
[14] E.D.Dolan和J.J.More©{B类用性能配置文件镶嵌优化软件}，数学。程序。，91（2002），第201-213页·邮编：1049.90004
[15] R.Garmanjani和L.N.Vicente{S公司非光滑优化中直接搜索方法的平滑和最坏情况复杂性}，IMA J.Numer。分析。，33（2013），第1008-1028页·Zbl 1272.65050号
[16] N.I.M.古尔德{P（P）私人通信}，2016年。
[17] G.A.Gray和T.G.Kolda{A类算法856:Appspack 4.0：无导数优化的异步并行模式搜索}，ACM Trans。数学。软质。，32（2006），第485-507页·Zbl 1230.90196号
[18] R.W.汉明{我《应用数值分析导论》，信使公司，马萨诸塞州北切姆斯福德，2012年。
[19] N.J.Higham{T型矩阵计算工具箱}，2002年。
[20] J.H.Holland{A类《自然和人工系统中的适应：生物学、控制和人工智能应用的介绍性分析》，密歇根大学出版社，密歇歇根州安娜堡，1975年·Zbl 0317.68006号
[21] R.Hooke和T.A.Jeeves{``直接搜索“数值和统计问题的解决方案”，J.ACM，8（1961），第212-229页·Zbl 0111.12501号
[22] D.R.Jones、C.D.Perttunen和B.E.Stuckman{L（左）无Lipschitz常数的ipschitzian优化}，J.Optim。理论应用。，79（1993），第157-181页·Zbl 0796.49032号
[23] C.T.Kelley{我mplicit Filtering}，软件。环境。工具23，SIAM，费城，宾夕法尼亚州，2011年·Zbl 1246.68017号
[24] N.S.Keskar和A.Waëchter{A类有界约束非光滑优化的有限记忆拟牛顿算法}，Optim。方法软件。，34（2019年），第150-171页·Zbl 1406.49032号
[25] S.Kirkpatrick、C.D.Gelatt、M.P.Vecchi等人{O（运行）模拟退火优化}，《科学》，220（1983），第671-680页·Zbl 1225.90162号
[26] T.G.Kolda、R.M.Lewis和V.Torczon{O（运行）直接搜索优化：一些经典和现代方法的新观点}，SIAM Rev.，45（2003），第385-482页·Zbl 1059.90146号
[27] J.Larson和S.M.Wild{N个噪声优化的非侵入式终止}，Optim。方法软件。，28（2013），第993-1011页·Zbl 1278.90452号
[28] A.S.Lewis和M.L.Overton{N个通过BFGS}实现的非光滑优化，预印本，2008年。
[29] A.S.Lewis和M.L.Overton{N个通过准牛顿方法进行非光滑优化}，数学。程序。，141（2013），第135-163页·Zbl 1280.90118号
[30] R.M.Lewis、V.Torczon和M.W.Trosset{D类直接搜索方法：过去和现在}，J.Compute。申请。数学。，124（2000），第191-207页·Zbl 0969.65055号
[31] A.Maggiar、A.Waéchter、I.S.Dolinskaya和J.Staum{A类使用自适应多重要性采样通过高斯卷积平滑的函数优化的无导数信赖域算法，技术报告，西北大学IEMS系，2015·Zbl 1390.90410号
[32] M.Marazzi和J.Nocedal{W公司无导数优化的边缘信任域方法}，数学。程序。，91（2002），第289-305页·Zbl 1049.90134号
[33] J.J.Moreí和S.M.Wild{B类嵌入无导数优化算法}，SIAM J.Optim。，20（2009年），第172-191页·Zbl 1187.90319号
[34] J.J.Moreí和S.M.Wild{E类模拟计算噪声}，SIAM J.Sci。计算。，33（2011），第1292-1314页·Zbl 1243.65016号
[35] J.J.Moreí和S.M.Wild{E类噪声模拟的模拟导数}，ACM Trans。数学。软质。，38（2012），第19条·Zbl 1365.65056号
[36] A.Nedicí和D.Bertsekas{C类增量次梯度算法的收敛率}，《随机优化：算法与应用》，施普林格，纽约，2001年，第223-264页·Zbl 0984.90033号
[37] J.A.Nelder和R.Mead{A类函数最小化的单纯形方法}，计算。J.，7（1965），第308-313页·Zbl 0229.65053号
[38] Y.Nesterov和V.Spokoiny{R（右）凸函数}的无梯度随机极小化。计算。数学。，17（2017），第527-566页·Zbl 1380.90220号
[39] J.Nocedal和S.Wright{N个数值优化}，第二版，Springer，纽约，1999年·Zbl 0930.65067号
[40] M.J.鲍威尔{U型不计算导数的非约束最小化算法}，A.E.A.Harwell报告HL72/17131972。
[41] M.J.鲍威尔{U型OBYQA：二次近似无约束优化}，数学。程序。，92（2002），第555-582页·Zbl 1014.65050号
[42] M.J.鲍威尔{T型NEWUOA无导数无约束优化软件}，《大尺度非线性优化》，Springer，纽约，2006年，第255-297页·Zbl 1108.90005号
[43] L.M.Rios和N.V.Sahinidis{D类无导数优化：算法综述和软件实现比较}，J.Global Optim。，56（2013），第1247-1293页·兹比尔1272.90116
[44] K.Schittkowski{M（M）非线性编程代码的测试示例}，经济学课堂讲稿。和数学。Systems 282，柏林施普林格，1987年·Zbl 0658.90060号
[45] W.Squire和G.Trapp{U型使用复变量估计实函数的导数}，SIAM Rev.，40（1998），第110-112页·Zbl 0913.65014号
[46] S.M.Wild、R.G.Regis和C.A.Shoemaker{O（运行）RBIT：通过信任区域中的径向基函数插值进行优化}，SIAM J.Sci。计算。，30（2008年），第3197-3219页·Zbl 1178.65065号
[47] M.H.Wright{D类直接搜索方法：曾经受到蔑视，现在受到尊重，摘自《数值分析：1995年邓迪数值分析两年期会议论文集》，艾迪生-韦斯利，马萨诸塞州雷丁，1996年，第191-208页·Zbl 0844.65057号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。