×
阿尔贝托·科斯塔；贾科莫·纳尼西尼

RBFOpt：一个用于黑盒优化的开源库，具有昂贵的功能评估。 （英语） Zbl 1411.90005号

数学。程序。计算。 10，第4期，597-629（2018）.
摘要：我们考虑在混合整型箱约束集上优化作为预言机给定的未知函数的问题。我们假设预言机的评估成本很高，因此用有限差分估计偏导数是不切实际的。在文献中，这通常被称为具有昂贵评估的黑盒优化问题。本文描述了在COIN-OR上可用的开源库RBFOpt中实现的解决方案方法。该算法基于最初由H.M.Gutmann先生[J.Glob.Optim.19，第3期，201–227（2001年；Zbl 0972.90055号)]，它构建并迭代细化未知目标函数的代理模型。本文的两个主要方法贡献是，利用一种噪声较小但成本较低的预言机加速收敛到精确预言机的最优值，以及在优化过程中引入自动模型选择阶段。数值实验表明，RBFOpt在从文献中提取的连续和混合整数非线性无约束问题的测试集上具有很强的竞争力：它在很大程度上优于我们比较中包含的开源解算器，并且性能略优于商业解算器。我们的经验评估提供了对算法的哪些参数化在实践中最有效的见解。作为提交文件的一部分，审查的软件被赋予数字对象标识符（DOI）doi:10.5281/zenodo.597767.

引用于10文件

MSC公司：

90-04 与运筹学和数学编程有关的问题的软件、源代码等
90 C56 无导数方法和使用广义导数的方法
90立方 非线性规划
65千5 数值数学规划方法

关键词：

黑盒优化；无导数优化；全局优化；径向基函数；开源软件；混合整数非线性规划

引文：

Zbl 0972.90055号

软件：

皮奥莫；BOBYQA公司；伊波特；针织品；DFO公司；MINL库；SNOBFIT公司；SCIP公司；MINLP公司；邦明牌手表；味噌；AQUARS公司；github；毒液；NOMAD公司；自我；多最小值；RBFOpt公司；MLMSRBF公司；NLopt（NLopt）
PDF格式BibTeX公司 XML格式引用
\textit{A.Costa}和\textit{G.Nannicini}，数学。程序。计算。10，第4号，597--629（2018；Zbl 1411.90005）
全文： 内政部

参考文献：

[1] Achterberg，T.:SCIP：求解约束整数程序。数学。程序。计算。1(1), 1-41 (2009) ·Zbl 1171.90476号 ·doi:10.1007/s12532-008-0001-1
[2] Audet，C.，Dennis Jr.，J.：约束优化的网格自适应直接搜索算法。SIAM J.Optim公司。17(1), 188-217 (2004) ·Zbl 1112.90078号 ·数字对象标识代码：10.1137/040603371
[3] Audet，C.，Kokkolaras，M.，Le Digabel，S.，Talgorn，B.：网格自适应直接搜索中管理代理集合的基于顺序的错误。J.全球。最佳方案。70(3), 645-675 (2018) ·Zbl 1394.90525号 ·doi:10.1007/s10898-017-0574-1
[4] Baudoui，V.：优化robuste多目标parèles de substitution。图卢兹大学Paul Sabatier博士论文（2012年）
[5] Björkman，M.，HolmströM，K.：使用径向基函数对代价高昂的非凸函数进行全局优化。最佳方案。工程1（4），373-397（2000）·Zbl 1035.90061号 ·doi:10.1023/A:1011584207202
[6] Bonami，P.，Biegler，L.，Conn，A.，Cornuéjols，G.，Grossmann，I.，Laird，C.，Lee，J.，Lodi，A.，Margot，F.，Sawaya，N.，Wächter，A.：凸混合整数非线性规划的算法框架。离散优化。5, 186-204 (2008) ·Zbl 1151.90028号 ·doi:10.1016/j.disopt.2006.10.011
[7] Bussieck，M.R.，Drud，A.S.，Meeraus，A.：MINLPLib——混合整数非线性规划的测试模型集合。信息J.计算。15(1), 114-119 (2003) ·Zbl 1238.90104号 ·doi:10.1287/ijoc.15.1.114.15159
[8] 伯德，RH；Nocedal，J。；华尔兹，RA；Pillo，G.（编辑）；Roma，M.（编辑），《KNITRO：非线性优化的集成包》，35-59（2006），纽约·Zbl 1108.90004号 ·doi:10.1007/0-387-30065-14
[9] Conn，A.R.，Scheinberg，K.，Toint，P.L.：无导数无约束非线性优化的最新进展。数学。程序。79(1-3), 397-414 (1997). https://doi.org/10.1007/BF02614326 ·Zbl 0887.90154号 ·doi:10.1007/BF02614326
[10] Conn，A.R.，Scheinberg，K.，Vicente，法律公告：无导数优化简介。MPS-SIAM优化系列。费城工业和应用数学学会（2009年）·兹比尔1163.49001 ·数字对象标识代码：10.1137/1.9780898718768
[11] Costa，A.，Di Buccio，E.，Melucci，M.，Nannicini，G.：使用黑盒优化进行信息检索的有效参数估计。IEEE传输。知识。数据工程301240-1253（2017）·doi:10.1109/TKDE.2017.2761749
[12] 阿尔贝托·科斯塔；贾科莫·纳尼西尼；托马斯·施罗普费尔（Thomas Schroepfer）；沃特曼，托马斯，建筑设计中照明模拟的黑盒优化，27-39（2015），Cham
[13] D'Ambrosio，C.，Nannicini，G.，Sartor，G.：用于选择一小组均匀分布点的MILP模型。操作。Res.Lett公司。45(1), 46-52 (2017) ·Zbl 1409.90113号 ·doi:10.1016/j.org.2016.11.004
[14] Diaz，G.I.，Fokour，A.，Nannicini，G.，Samulowitz，H.：神经网络超参数优化的有效算法。IBM J.Res.Dev.61（4/5），9-1（2017）·doi:10.147/JRD.2017.2709578
[15] Dixon，L。；Szego，G。；Dixon，L.（编辑）；Szego，G.（编辑），《全局优化问题：导论》，1-15（1975），阿姆斯特丹
[16] Eriksson，D.，Bindel，D.，Shoemaker，C.：代理优化工具箱（pySOT）（2015）。http://github.com/dme65/pySOT
[17] Fuerle，F.，Sienz，J.：约束设计空间的Audze-Eglais均匀拉丁超立方体实验设计公式。高级工程师软件。42(9), 680-689 (2011) ·Zbl 1416.62449号 ·doi:10.1016/j.advengsoft.2011.05.004
[18] Gablonsky，J.，Kelley，C.：DIRECT算法的一种局部偏倚形式。J.全球。最佳方案。21(1), 27-37 (2001) ·Zbl 1039.90049号 ·doi:10.1023/A:1017930332101
[19] Gendreau，M.，Potvin，J.Y.（编辑）：元启发式手册，第二版。Kluwer，Dordrecht（2010年）·Zbl 1198.90002号
[20] Glover，F.，Kochenberger，G.（编辑）：元启发式手册。Kluwer，Dordrecht（2003）·Zbl 1058.90002号
[21] Gomes，C.P.，Selman，B.，Crato，N.，Kautz，H.：可满足性和约束满足问题中的重尾现象。J.自动化。原因。24(1-2), 67-100 (2000). https://doi.org/10.1023/A:1006314320276 ·Zbl 0967.68145号 ·doi:10.1023/A:1006314320276
[22] Gutmann，H.M.：用于全局优化的径向基函数方法。J.全球。最佳方案。19, 201-227 (2001). https://doi.org/10.1023/A:1011255519438 ·Zbl 0972.90055号 ·doi:10.1023/A：1011255519438
[23] Hart，W.E.，Laird，C.，Watson，J.P.，Woodruff，D.L.：Python中的Pyomo-optimization建模。Springer优化及其应用，第67卷。柏林施普林格出版社（2012）·Zbl 1233.90002号 ·doi:10.1007/978-1-4614-3226-5
[24] Hart，W.E.，Watson，J.P.，Woodruff，D.L.：Pyomo：用Python建模和求解数学程序。数学。程序。计算。3(3), 219-260 (2011). https://doi.org/10.1007/s12532-011-0026-8 ·doi:10.1007/s12532-011-0026-8
[25] Hemker，T.：工程中混合整数非线性黑盒问题的无导数代理优化。达姆施塔特科技大学硕士论文（2008）
[26] Holmström，K.：用于昂贵的黑盒全局优化的自适应径向基算法（ARBF）。J.全球。最佳方案。41（3），447-464（2008）·Zbl 1152.90609号 ·doi:10.1007/s10898-007-9256-8
[27] Holmström，K.，Quttineh，N.H.，Edvall，m.m.：用于昂贵的黑盒混合整数约束全局优化的自适应径向基算法（ARBF）。最佳方案。工程9（4），311-339（2008）·Zbl 1400.90226号 ·doi:10.1007/s11081-008-9037-3
[28] Huyer，W.，Neumaier，A.：基于分支和拟合的SNOBFIT稳态噪声优化。ACM事务处理。数学。柔和。35(2), 1-25 (2008) ·doi:10.1145/1377612.1377613
[29] Ilievski，I.，Akhtar，T.，Feng，J.，Shoemaker，C.A.：使用确定性RBF代理对深度学习算法进行高效超参数优化。参加：第三十一届AAAI人工智能会议（2017年）
[30] Jakobsson，S.、Patriksson，M.、Rudholm，J.、Wojciechowski，A.：使用径向基函数进行基于模拟的优化的方法。最佳方案。工程11（4），501-532（2010）·Zbl 1243.65068号 ·doi:10.1007/s11081-009-9087-1
[31] Johnson，S.G.：NLopt非线性优化包。http://ab-initio.mit.edu/nlopt
[32] Jones，D.，Perttunen，C.，Stuckman，B.：不含Lipschitz常数的Lipschitsian优化。J.优化。理论应用。79(1), 157-181 (1993) ·Zbl 0796.49032号 ·doi:10.1007/BF00941892
[33] Jones，D.，Schonlau，M.，Welch，W.：昂贵的黑盒函数的高效全局优化。J.全球。最佳方案。13(4), 455-492 (1998) ·Zbl 0917.90270号 ·doi:10.1023/A：1008306431147
[34] Kolda，T.G.，Lewis，R.M.，Torczon，V.J.：直接搜索优化：一些经典和现代方法的新观点。SIAM版本45（3），385-482（2003）·Zbl 1059.90146号 ·doi:10.1137/S003614450242889
[35] Le Digabel，S.：算法909:NOMAD：使用MADS算法进行非线性优化。ACM事务处理。数学。柔和。37（4），44:1-44:15（2011）。https://doi.org/10.1145/1916461.1916468 ·Zbl 1365.65172号 ·数字对象标识代码：10.1145/1916461.1916468
[36] MINLP库2。http://www.gamsworld.org/minlp/minlplib2/html/
[37] Moré，J.，Wild，S.M.：无导数优化算法的基准测试。SIAM J.Optim公司。20(1), 172-191 (2009) ·Zbl 1187.90319号 ·doi:10.1137/080724083
[38] Müller，J.：MISO：混合集成代理优化框架。Optim。工程1-27（2015）。https://doi.org/10.1007/s11081-015-9281-2 ·Zbl 1364.90230号 ·doi:10.1007/s11081-015-9281-2
[39] Müller，J.，Paudel，R.，Shoemaker，C.A.，Woodbury，J.，Wang，Y.，Mahowald，\[N.:\text｛CH｝_4\]CLM4.5bgc中使用代理全局优化的CH4参数估计。地质科学。模型开发8（10），3285-3310（2015）。https://doi.org/10.5194/gmd-8-3285-2015 ·doi:10.5194/gmd-8-3285-2015年
[40] Müller，J.，Shoemaker，C.A.：集成代理模型和采样策略对计算成本高昂的黑盒全局优化问题算法的解质量的影响。J.全球。最佳方案。60(2), 123-144 (2014). https://doi.org/10.1007/s10898-014-0184-0 ·Zbl 1312.90064号 ·doi:10.1007/s10898-014-0184-0
[41] Müller，J.，Shoemaker，C.A.，Piché，R.：SO-MI：用于计算成本高昂的非线性混合整数黑盒全局优化问题的代理模型算法。计算。操作。第40（5）号决议，1383-1400（2013）。https://doi.org/10.1016/j.cor.2012.08.022 ·Zbl 1352.90067号 ·doi:10.1016/j.cor.2012.08.022
[42] Nelder，J.A.，Mead，R.：函数最小化的单纯形方法。计算。J.7（4），308-313（1965）·Zbl 0229.65053号 ·doi:10.1093/comjnl/7.4.308
[43] Neumaier，A.：Neumair针对全局优化的测试问题集合。http://www.mat.univie.ac.网址：/neum/glopt/my_problems.html。2014年5月检索
[44] Powell，M.J.D.，剑桥大学关于径向基函数的最新研究，215-232（1999），巴塞尔·Zbl 0958.41501号 ·doi:10.1007/978-3-0348-8696-3_14
[45] Powell，M.J.：无导数的有界约束优化的BOBYQA算法。技术报告，剑桥大学NA2009/06报告，剑桥NA（2009）
[46] Regis，R.，Shoemaker，C.：用于全局优化的径向基函数方法的改进策略。J.全球。最佳方案。37, 113-135 (2007). https://doi.org/10.1007/s10898-006-9040-1 ·Zbl 1149.90120号 ·doi:10.1007/s10898-006-9040-1
[47] Regis，R.G.，Shoemaker，C.A.：昂贵函数全局优化的随机径向基函数方法。信息J.计算。19(4), 497-509 (2007). https://doi.org/101287/ijoc.1060.0182 ·Zbl 1241.90192号 ·doi:10.1287/ijoc.1060.0182
[48] Regis，R.G.，Shoemaker，C.A.：使用响应面模型对昂贵函数进行全局优化的准多部分框架。J.全球。最佳方案。56(4), 1719-1753 (2013) ·Zbl 1275.90068号 ·doi:10.1007/s10898-012-9940-1
[49] Rios，L.M.，Sahinidis，N.V.：无导数优化：算法综述和软件实现比较。J.全球。最佳方案。56(3), 1247-1293 (2013) ·Zbl 1272.90116号 ·doi:10.1007/s10898-012-9951-y
[50] Schoen，F.：一类广泛的全局优化测试函数。J.全球。最佳方案。3(2), 133-137 (1993) ·Zbl 0772.90072号 ·doi:10.1007/BF01096734
[51] Törn，A.，繃ilinskas，A.：全局优化。柏林施普林格（1987）·Zbl 0752.90075号
[52] Wächter，A.，Biegler，L.T.：关于大规模非线性规划的原始-对偶内点过滤器线搜索算法的实现。数学。程序。106(1), 25-57 (2006) ·Zbl 1134.90542号 ·doi:10.1007/s10107-004-0559-y
[53] Wortmann，T.、Costa，A.、Nannicini，G.、Schroepfer，T.：建筑设计优化替代模型的优势。Artif公司。智力。工程设计。分析。制造29（4），471-481（2015）·doi:10.1017/S0890060415000451
[54] Wortmann，T.、Waibel，C.、Nannicini，G.、Evins，R.、Schroepfer，T.和Carmeliet，J.：遗传算法真的是建筑能源优化的最佳选择吗？摘自：《建筑与城市设计模拟研讨会论文集》（SimAUD），第51-58页。SCS，加拿大多伦多（2017）
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。