×
圣埃芬·阿拉里;查尔斯·奥德特;皮埃尔·伊夫·布切特;塞巴斯蒂安·勒·迪加贝尔

具有自适应精度的随机黑盒优化。 （英语） Zbl 1483.90089

SIAM J.Optim公司。 31，第4期，3127-3156（2021）.
摘要：在无导数和黑箱优化中，目标函数通常通过执行被视为黑箱的计算机程序来评估。它可以是随机的，即输出中存在以加法为中心的高斯随机噪声。有时，噪声的分布是可调的，它的标准偏差可以在黑箱的任何执行中选择。处理这种情况的一种常见策略是定义一系列标准偏差值，随着迭代次数单调递减为零，以确保算法的收敛性，因为噪声是渐近消除的。然而，在实践中，单调地减少标准偏差会单调地增加计算时间，并使优化过程变长。还有一种策略，它不会强制每个迭代的标准偏差单调减小。本文提出了一个基于确定性Mads算法的算法框架，在该框架上可以表达这两种策略。虽然这些策略被证明在理论上是等价的，但在分析问题和非高斯噪声分布的工业黑匣子上的测试表明了实际差异。

引用于2文件

MSC公司：

90立方厘米 随机规划
90 C56 无导数方法和使用广义导数的方法
65千5 数值数学规划方法

关键词：

无衍生物;黑匣子;随机的，随机的;嘈杂的;自适应精度;可调精度;直接搜索;MC模拟

软件：

SNOBFIT公司;NOMAD公司;OrthoMADS公司;ASTRO-DF公司
PDF格式BibTeX公司 XML格式引用
\textit{S.Alarie}等人，SIAM J.Optim。31，第4号，3127--3156（2021；Zbl 1483.90089）
全文： 内政部 arXiv公司

参考文献：

[1] M.Abramson、C.Audet、J.Dennis，Jr.和S.Le Digabel，《OrthoMads：具有正交方向的确定性Mads实例》，SIAM J.Optim。，20（2009），第948-966页，https://doi.org/10.1137/080716980。 ·Zbl 1189.90202号
[2] S.Amaran、N.Sahinidis、B.Sharda和S.Bury，《模拟优化：算法与应用综述》，预印本，https://arxiv.org/abs/1706.08591, 2017. ·Zbl 1317.90002号
[3] E.J.Anderson和M.C.Ferris，带噪声函数评估的直接搜索优化算法，SIAM J.Optim。，11（2001），第837-857页，https://doi.org/10.1137/S1052623496312848。 ·Zbl 1035.90106号
[4] C.Audet和J.E.Dennis，Jr.，用于约束优化的网格自适应直接搜索算法，SIAM J.Optim。，17（2006），第188-217页，https://doi.org/10.1137/040603371。 ·Zbl 1112.90078号
[5] C.Audet和J.E.Dennis，Jr.，无导数非线性规划的渐进障碍，SIAM J.Optim。，20（2009），第445-472页，https://doi.org/10.1137/070692662。 ·Zbl 1187.90266号
[6] C.Audet、K.Dzahini、M.Kokkolaras和S.Le Digabel，《随机黑箱优化：使用概率估计》，技术报告G-2019-30，德国科学院，2020年，https://www.gerad.ca/fr/papers/G-2019-30；计算。最佳方案。申请。，出现·Zbl 1469.90095号
[7] C.Audet和W.Hare，无导数和黑盒优化，Springer Ser。操作。Res.财务。工程，施普林格，查姆，2017年，https://doi.org/10.1007/978-3-319-68913-5。 ·Zbl 1391.90001号
[8] C.Audet、A.Ihaddadene、S.Le Digabel和C.Tribes，使用网格自适应直接搜索算法对噪声黑箱问题进行稳健优化，Optim。莱特。，12（2018），第675-689页，https://doi.org/10.1007/s11590-017-1226-6。 ·Zbl 1403.90619号
[9] C.Audet、S.Le Digabel和C.Tribes，颗粒和离散变量的网格自适应直接搜索算法，SIAM J.Optim。，29（2019），第1164-1189页，https://doi.org/10.1137/18M1175872。 ·Zbl 1411.90229号
[10] C.Audet和D.Orban，使用无导数优化寻找最佳算法参数，SIAM J.Optim。，17（2006），第642-664页，https://doi.org/10.1137/040620886。 ·邮编1128.90060
[11] F.Augustin和Y.M.Marzouk，无导数非线性约束随机优化的信任域方法，预印本，https://arxiv.org/abs/1703.04156, 2017.
[12] V.Beiranvand、W.Hare和Y.Lucet，比较优化算法的最佳实践，Optim。工程，18（2017），第815-848页，https://doi.org/10.1007/s11081-017-9366-1。 ·Zbl 1390.90601号
[13] A.S.Berahas、R.H.Byrd和J.Nocedal，通过拟Newton方法对噪声函数进行无导数优化，SIAM J.Optim。，29（2019），第965-993页，https://doi.org/10.1137/18M1177718。 ·Zbl 1411.90359号
[14] P.Beyhaghi、R.Alimo和T.Bewley，通过统计平均获得函数的有效最小化的无导数优化算法，计算。最佳方案。申请。，76（2020），第1-31页，https://doi.org/10.1007/s10589-020-00172-4。 ·Zbl 1433.90193号
[15] T.Browne、B.Iooss、L.Le Gratiet、J.Lonchampt和E.Remy，基于随机模拟器的高斯过程元模型优化：维修投资规划问题的应用，质量可靠性。国际工程。，32（2016），第2067-2080页，https://doi.org/10.1002/qre.2028。
[16] K.-H.Chang，随机Nelder-Mead单纯形法——一种用于模拟优化的新的全局收敛直接搜索方法，European J.Oper。研究，220（2012），第684-694页，https://doi.org/10.1016/j.ejor.2012.02.028。 ·Zbl 1253.90178号
[17] X.Chen和C.T.Kelley，带隐藏约束和嵌入蒙特卡罗计算的优化，Optim。工程，17（2016），第157-175页，https://doi.org/10.1007/s11081-015-9302-1。 ·Zbl 1364.65119号
[18] X.Chen，C.T.Kelley，F.Xu，Z.Z.Zhang，基于蒙特卡罗的有界约束复合非光滑优化的平滑直接搜索方法，SIAM J.Sci。计算。，40（2018年），第A2174-A2199页，https://doi.org/10.1137/17M116714。 ·Zbl 1461.65138号
[19] F.Clarke，优化与非光滑分析，第二版，经典应用。数学。5，SIAM，费城，1990年，https://doi.org/10.1137/1.9781611971309。 ·Zbl 0696.49002号
[20] A.Conn、K.Scheinberg和L.N.Vicente，《无导数优化导论》，MOS-SIAM Ser。最佳方案。2009年，费城SIAM，https://doi.org/10.1137/1.9780898718768。 ·兹比尔1163.49001
[21] G.Deng和M.C.Ferris，可变数量样本路径优化，数学。程序。，117（2009），第81-109页，https://doi.org/10.1007/s10107-007-0164-y。 ·Zbl 1165.90013号
[22] E.Dolan和J.Moreí，带性能配置文件的基准优化软件，数学。程序。，91（2002），第201-213页，https://doi.org/10.1007/s101070100263。 ·邮编：1049.90004
[23] E.Frandi和A.Papini，通过多级优化技术改进直接搜索算法，Optim。方法软件。，30（2015），第1077-1094页，https://doi.org/10.1080/10556788.2015.1014555。 ·Zbl 1328.90136号
[24] F.Haése、L.M.Roch、C.Kreisbeck和A.Aspuru-Guzik，《PHOENICS:通用深度贝叶斯优化器》，预印本，https://arxiv.org/abs/1801.01469v1, 2018.
[25] W.Huyer和A.Neumaier，SNOBFIT基于分支和拟合的稳态噪声优化，ACM Trans。数学。软件，35（2009），9，https://doi.org/10.1145/1377612.1377613。
[26] J.Jahn，《非线性优化理论导论》，第三版，施普林格，柏林，2007年，https://doi.org/10.1007/978-3-540-49379-2。 ·Zbl 1115.49001号
[27] D.Jones、M.Schonlau和W.Welch，昂贵黑箱函数的高效全局优化，J.Global Optim。，13（1998），第455-492页，https://doi.org/10.1023/A:1008306431147。 ·Zbl 0917.90270号
[28] S.Le Digabel，算法909:NOMAD:用MADS算法进行非线性优化，ACM Trans。数学。软件，37（2011），44，https://doi.org/10.1145/1916461.1916468。 ·Zbl 1365.65172号
[29] J.Lonchampt，VME:工程资产管理中概率模型估值的工具，摘自《风险、可靠性和安全：创新理论和实践》，Walls，Revie和Bedford编辑，CRC出版社，Taylor&Francis Group，伦敦，2017年，第1158-1164页。
[30] J.Moreí和S.Wild，基准无衍生优化算法，SIAM J.Optim。，20（2009），第172-191页，https://doi.org/10.1137/080724083。 ·Zbl 1187.90319号
[31] J.Nelder和R.Mead，《函数最小化的单纯形方法》，《计算机杂志》，7（1965），第308-313页，https://doi.org/10.1093/comjnl/7.4.308。 ·Zbl 0229.65053号
[32] C.Paquette和K.Scheinberg，带收敛速度分析的随机线搜索方法，预印本，https://arxiv.org/abs/1807.07994, 2018. ·Zbl 1431.90153号
[33] V.Picheny、D.Ginsbourger、Y.Richet和G.Caplin，基于分位数的可调精度噪声计算机实验优化，预印本，https://hal.archives-ouvertes.fr/hal-00578550, 2012.
[34] E.Polak和M.Wetter，具有自适应精度函数评估的广义模式搜索算法的精度控制，SIAM J.Optim。，16（2006），第650-669页，https://doi.org/10.1137/040605527。 ·Zbl 1113.90148号
[35] M.Rivier和P.M.Congedo，可调目标保真度优化问题的代理辅助边界盒方法，J.Global Optim。，75（2019），第1079-1109页，https://doi.org/10.1007/s10898-019-00823-9。 ·Zbl 1432.90097号
[36] M.Sasena，《利用Kriging近似进行约束全局设计优化的灵活性和效率增强》，密歇根大学博士论文，密西根州安娜堡，2002年。
[37] S.Shashaani，F.Hashemi，and R.Pasupathy，ASTRO-DF:一类用于无导数随机优化的自适应采样信任域算法，预印本，https://arxiv.org/abs/1610.06506, 2016. ·Zbl 1403.90541号
[38] V.Torczon，关于模式搜索算法的收敛性，SIAM J.Optim。，7（1997），第1-25页，https://doi.org/10.1137/S1052623493250780。 ·Zbl 0884.65053号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。