×
阿尔贝托·本普拉德

通过反向距离加权和径向基函数进行全局优化。 （英语） Zbl 1466.90075号

计算。最佳方案。申请。 77，第2期，571-595（2020年）.
摘要：对于目标函数计算量大的全局优化问题，可以通过递归拟合代理函数函数化样本并最小化采集功能生成新样本。获取步骤在寻找代理项最小的新优化向量之间进行权衡(剥削并寻找尚未访问的可行空间区域，这些区域可能包含更好的目标函数值(勘探可行空间）。本文提出了一种新的全局优化算法，该算法使用逆距离加权（IDW）和径向基函数（RBF）来构造获取函数。很容易考虑到易于评估的任意约束。与贝叶斯优化相比，我们称之为GLIS（使用反向距离加权和替代径向基函数的GLobal minimum）的所提算法具有竞争力，计算量较小，如我们在一组基准全局优化和超参数调整问题中所示。GLIS的MATLAB和Python实现可在http://cse.lab.imtlucca.it/~bemporad/glis（英语）.

引用于9文件

MSC公司：

90C26型 非凸规划，全局优化

关键词：

全局优化;反距离加权;贝叶斯优化;径向基函数;代理模型;无导数算法;黑盒优化

软件：

PS温;Matlab公司;NEWUOA公司;github;MCS公司;自我;蟒蛇;NLopt（NLopt）;GPyOpt公司;lhsdesigncon公司;多最小值;GLIS公司;自动锁相环;RBFOpt公司;ODYS QP解算器
PDF格式BibTeX公司 XML格式引用
\textit{A.Bempoad}，计算。最佳方案。申请。77，第2号，571--595（2020；Zbl 1466.90075）
全文： 内政部 arXiv公司

参考文献：

[1] Banjac，G.、Stellato，B.、Moehle，N.、Goulart，P.、Bempoad，A.、Boyd，S.：使用OSQP解算器生成嵌入式代码。In：程序。第56届IEEE决策与控制大会，第1906-1911页，澳大利亚墨尔本，2017年。https://github.com/oxfordcontrol/osqp
[2] Bempoad，A.：基于模型的预测控制设计：新趋势和工具。In：程序。第45届IEEE决策与控制大会，第6678-6683页，加利福尼亚州圣地亚哥（2006）
[3] Bempoad，A.，基于非负最小二乘的多面体计算的多参数二次规划算法，IEEE Trans。自动化。控制，60，11，2892-2903（2015）·Zbl 1360.90181号 ·doi:10.1109/TAC.2015.2417851
[4] Bempoad，A.：通过反向距离加权进行全局优化。2019年。在arXiv上提供，arXiv:1906.06498。代码可在http://cse.lab.imtlucca.it/bemporad/glis（英语）
[5] Bempoad，A.，Piga，D.：基于径向基函数的主动偏好学习。2019年。在arXiv上提供，arXiv:1909.13049。代码可在网址：http://cse.lab.imtlucca.it/导入/idwgopt
[6] Blok，H.J.：lhsdesigncon MATLAB函数，2014。https://github.com/rikblok/matlab-lhsdesigncon网站
[7] 博伊德，S。；北卡罗来纳州帕里赫。；朱，E。；佩莱托，B。；Eckstein，J.，《通过交替方向乘数法进行分布式优化和统计学习》，Found。趋势马赫数。学习。，3, 1, 1-122 (2011) ·Zbl 1229.90122号 ·doi:10.1561/220000016
[8] Boyd，S.，Vandenberghe，L.：凸优化。剑桥大学出版社，美国纽约州纽约市（2004年）。http://www.stanford.edu网站/boyd/cvxbook.html·Zbl 1058.90049号
[9] Brochu，E.，Cora，V.M.，De Freitas，N.：关于昂贵成本函数的贝叶斯优化的教程，应用于主动用户建模和分层强化学习。arXiv预输入rXiv:1012.2599（2010）
[10] Cimini，G.，Bempoad，A.，Bernardini，D.：ODYS QP求解器。ODYS S.r.l.公司(https://odys.it/qp)2017年9月日
[11] 科斯塔，A。；Nannicini，G.，Rbfopt：一个用于黑盒优化的开源库，具有昂贵的函数求值，Math。程序。计算。，10, 4, 597-629 (2018) ·Zbl 1411.90005号 ·doi:10.1007/s12532-018-0144-7
[12] Eberhart，R.，Kennedy，J.：使用粒子群理论的新优化器。摘自：第六届国际微机械与人类科学研讨会论文集，第39-43页。名古屋（1995）
[13] Feurer，M.、Klein，A.、Eggensperger，K.、Springenberg，J.T.、Blum，M.和Hutter，F.：Auto-sklearn:高效可靠的自动化机器学习。摘自：Hutter，F.、Kotthoff，L.、Vanschoren，J.（编辑）《自动机器学习：方法、系统、挑战》，第113-134页。施普林格国际出版公司（2019）
[14] Forgione，M.，Piga，D.，Bempoad，A.：嵌入式MPC的有效校准。In：程序。第21届国际会计师联合会世界大会。https://arxiv.org/abs/1911.13021 (2020)
[15] Gutmann，H-M，用于全局优化的径向基函数方法，J.Glob。最佳。，19, 201-2227 (2001) ·Zbl 0972.90055号 ·doi:10.1023/A:1011255519438
[16] Hansen，N。；Ostermier，A.，《进化策略中的完全错乱的自我适应》，Evol。计算。，9, 2, 159-195 (2001) ·doi:10.1162/106365601750190398
[17] Hardy，RL，地形和其他不规则表面的多二次方程，J.Geophys。1905-1915年第76、8号决议（1971年）·doi:10.1029/JB076i008p01905
[18] Huyer，W。；Neumaier，A.，通过多级坐标搜索进行全局优化，J.Glob。最佳。，14, 4, 331-355 (1999) ·Zbl 0956.90045号 ·doi:10.1023/A:1008382309369
[19] Jamil，M.，Yang，X.S.：全球优化问题基准函数的文献综述。国际数学杂志。模型。数字。最佳方案。4(2):150-194 (2013). arxiv:1308.4008.pdf·Zbl 1280.65053号
[20] Johnson，S.G.：NLopt非线性优化包。http://github.com/stevengj/nlopt
[21] Jones，DR，《基于响应曲面的全局优化方法分类》，J.Glob。最佳。，212345-383（2001年）·Zbl 1172.90492号 ·doi:10.1023/A:1012771025575
[22] Jones，D.R.：直接全局优化算法。优化百科全书，第725-735页，（2009年）
[23] Jones博士；Schonlau，M。；Matthias，WJ，《昂贵黑盒函数的高效全局优化》，J.Glob。最佳。，13, 4, 455-492 (1998) ·Zbl 0917.90270号 ·doi:10.1023/A:1008306431147
[24] 约瑟夫，VR；Kang，L.，基于回归的反距离加权及其在计算机实验中的应用，《技术计量学》，53，3，255-265（2011）·doi:10.1198/TECH.2011.09154
[25] Kushner，HJ，噪声存在下确定任意多峰曲线最大点的新方法，J.基础工程，86，1，97-106（1964）·doi:10.115/1.3653121
[26] Matheron，G.，《地质统计学原理》，经济学。地质。，58, 8, 1246-1266 (1963) ·doi:10.2113/gsecongeo.58.8.1246
[27] 麦克唐纳，DB；WJ格兰瑟姆；泰伯，WL；Murphy，MJ，使用径向基函数响应面模型进行全局和局部优化，应用。数学。型号。，31, 10, 2095-2110 (2007) ·Zbl 1162.90562号 ·doi:10.1016/j.apm.2006.08.008
[28] 医学博士麦凯；RJ贝克曼；Conover，WJ，在计算机代码输出分析中选择输入变量值的三种方法的比较，技术计量学，21，2，239-245（1979）·Zbl 0415.62011号
[29] Piga，D.，Forgione，M.，Formentin，S.，Bempoad，A.：面向性能的模型学习，用于数据驱动的MPC设计。IEEE控制系统快报，2019年。也在Proc。第58届IEEE Conf.Decision and Control，尼斯（法国）（2019年）。阿西夫：1904.10839
[30] Powell，M.J.D.：无导数无约束优化的NEWUOA软件。《大尺度非线性优化》，第255-297页。斯普林格（2006）·Zbl 1108.90005号
[31] 雷吉斯，RG；Shoemaker，CA，使用径向基函数对昂贵的黑盒函数进行约束全局优化，J.Glob。最佳。，153-171年1月31日（2005年）·Zbl 1274.90511号 ·doi:10.1007/s10898-004-0570-0
[32] 里奥斯，LM；Sahinidis，NV，无导数优化：算法综述和软件实现的比较，J.Glob。最佳。，56, 3, 1247-1293 (2013) ·兹比尔1272.90116 ·doi:10.1007/s10898-012-9951-y
[33] Rippa，S.，《径向基函数插值中为参数c选择良好值的算法》，高级计算。数学。，11, 2-3, 193-210 (1999) ·Zbl 0943.65017号 ·doi:10.1023/A:1018975909870
[34] Sacks，J.、Welch，W.J.、Mitchell，T.J.、Wynn，H.P.：计算机实验的设计与分析。统计科学。409-423 (1989) ·Zbl 0955.62619号
[35] 沙赫里亚里，B。；瑞典斯威斯基。；王，Z。；亚当斯，RP；De Freitas，N.，《让人类走出循环：贝叶斯优化综述》，Proc。IEEE，104，1，148-175（2015）·doi:10.1109/JPROC.2015.2494218
[36] Shepard，D.：不规则空间数据的二维插值函数。In：程序。ACM全国会议，第517-524页。纽约（1968）
[37] Snoek，J.，Jasper，H.，Adams，R.P.：机器学习算法的实用贝叶斯优化。摘自：《神经信息处理系统进展》，第2951-2959页（2012年）
[38] GPyOpt作者。GPyOpt：Python中的贝叶斯优化框架。http://github.com/SheffieldML/GPyOpt (2016)
[39] 《Mathworks，Inc.统计和机器学习工具箱用户指南》（2019年）。https://www.mathworks.com/help/releases/R2019a/pdf_doc/stats/stats.pdf
[40] Törn，A。；Ju ilinskas，A.，《全局优化》（1989），柏林：施普林格出版社，柏林·Zbl 0752.90075号
[41] 瓦兹，AIF；Vicente，LN，用于边界约束全局优化的粒子群模式搜索方法，J.Glob。最佳。，39, 2, 197-219 (2007) ·Zbl 1180.90252号 ·doi:10.1007/s10898-007-9133-5
[42] Vaz，A.I.F.，Vicente，法律公告：PSwarm:线性约束全局无导数优化的混合求解器。最佳方案。方法软件。24, 669-685 (2009). http://www.norg.uminho.pt/aivaz/pswarm/ ·Zbl 1177.90327号
[43] Whitley，D.，《遗传算法教程》，统计计算。，4, 2, 65-85 (1994) ·doi:10.1007/BF00175354
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。