×
安东尼奥·坎德列里

未知约束下基于序列模型的部分定义函数优化。 （英语） Zbl 1465.90068号

J.全球。最佳方案。 79，编号2，281-303（2021）.
摘要：本文提出了一个基于序列模型的优化框架，用于优化黑盒、多极值和昂贵的目标函数，该目标函数也有部分定义，即在可行域之外未定义。此外，在搜索空间中定义可行区域的约束是未知的。本文提出的SVM-CBO方法分为两个连续的阶段，第一阶段使用支持向量机分类器逼近未知可行区域的边界，第二阶段使用贝叶斯优化算法在可行区域内找到全局最优解。在第一阶段，通过处理改进可行区域的当前估计和发现可能的不连续可行子区域之间的权衡，选择下一个评估点。在第二阶段，选择下一个要评估的点作为下置信限捕获函数的最小值，但约束于可行区域的当前估计。本文的主要内容是与贝叶斯优化过程进行比较，该过程在有限预算（即最大函数求值次数）下，对不可行的函数求值使用固定的惩罚值。结果与文献中的五个2D测试函数和80个测试函数有关，这些函数的维数和复杂性都在增加，都是通过Emmental型GKLS软件生成的。SVM-CBO证明了它的效率和计算效率显著提高。

引用于4文件

MSC公司：

90C26型 非凸规划，全局优化

关键词：

基于序列模型的优化;约束全局优化;部分定义的目标函数

软件：

Emmental型GKLS;自我;PESC公司;汽车-WEKA;导演;自动锁相环;通用包装器4AC
PDF格式BibTeX公司 XML格式引用
\发短信{C.Antonio}，J.Glob。最佳方案。79，第2281-303号（2021；兹bl 1465.90068）
全文： 内政部

参考文献：

[1] 弗雷泽，P.I.：贝叶斯优化。摘自：当代问题优化和建模的最新进展-INFORMS，pp.255-278（2018）
[2] Jones，博士；Schonlau，M。；Welch，WJ，《昂贵黑盒函数的高效全局优化》，J.global Optim。，13, 4, 455-492 (1998) ·Zbl 0917.90270号 ·doi:10.1023/A:1008306431147
[3] 沙赫里亚里，B。；瑞典斯威斯基。；王，Z。；亚当斯，RP；De Freitas，N.，《让人类走出循环：贝叶斯优化综述》，Proc。IEEE，104，1，148-175（2016）·doi:10.1109/JPROC.2015.2494218
[4] 朱林斯卡斯，A。；ſilinskas，J.，基于统计模型和简单划分的全局优化，计算。数学应用。，44, 7, 957-967 (2002) ·Zbl 1047.90036号 ·doi:10.1016/S0898-1221（02）00206-7
[5] 谢尔盖耶夫，YD；德国科瓦索夫；Mukhametzhanov，MS，《自然启发元启发式在预算有限的昂贵全局优化中的效率》，科学代表英国，8，1，453（2018）·数字对象标识代码：10.1038/s41598-017-18940-4
[6] 谢尔盖耶夫，YD；Strongin，RG；Lera，D.，《利用填充曲线进行全局优化的导论》（2013），柏林：施普林格出版社，柏林·Zbl 1278.90005号 ·doi:10.1007/978-1-4614-8042-6
[7] 谢尔盖耶夫，YD；Kvasv，DE，《确定性全局优化：对角线方法简介》（2017），柏林：施普林格出版社，柏林·Zbl 1371.90112号 ·doi:10.1007/978-1-4939-7199-2
[8] Zhigljavsky，A。；Ju ilinskas，A.，《随机全局优化》（2007），柏林：施普林格出版社，柏林·Zbl 1136.90003号
[9] 阿奇蒂，F。；Betrå，B.，确定性策略的先验分析，走向全球。最佳。，2, 31-48 (1978) ·Zbl 0404.90082号
[10] 阿奇蒂，F。；Betró，B.，《随机模型与优化》，Bollettino dell'Unione Matematica Italiana，5，17，295-301（1980）·兹比尔0429.90055
[11] 阿切蒂，F。；Betró，B.，全局优化的概率算法，Calcolo，16，335-343（1979）·Zbl 0428.90064号 ·doi:10.1007/BF02575933
[12] Eggensperger，K。；林道尔，M。；Hutter，F.，《算法配置中的陷阱和最佳实践》，J.Artif。智力。研究，64，861-893（2019）·Zbl 1489.68216号 ·doi:10.1613/jair.1.11420
[13] Hutter，F.、Kotthoff，L.、Vanschoren，J.（编辑）：自动化机器学习。方法、系统、挑战。Springer机器学习挑战系列。斯普林格（2019）。doi:10.1007/978-3-030-05318-5
[14] Thornton，C.，Hutter，F.，Hoos，H.H.，Leyton-Brown，K.：Auto-WEKA：分类算法的组合选择和超参数优化。摘自：ACM-SIGKDD会议记录，第847-855页（2013年）
[15] Feurer，M.、Klein，A.、Eggensperger，K.、Springenberg，J.、Blum，M.和Hutter，F.：高效可靠的自动化机器学习。摘自：《神经信息处理系统进展》，第2962-2970页（2015年）
[16] Candelieri，A。；Archetti，F.，《机器学习中的全局优化：预测分析应用程序的设计》，《软件》。计算。，23, 2969-2977 (2018) ·doi:10.1007/s00500-018-3597-8
[17] Elsken，T。；梅森，JH；Hutter，F.，《神经架构搜索：调查》，J.Mach。学习。第20、55、1-21号决议（2019年）·Zbl 1485.68229号
[18] Galuzzi，B.，Perego，R.，Candelieri，A.，Archetti，F.：全波形反演的贝叶斯优化。摘自：新兴复杂现实生活问题的新趋势，第257-264页（2018年）
[19] 谢尔盖耶夫，YD；Pugliese，P。；Famularo，D.，带局部调整的索引信息算法，用于解决具有多极值约束的多维全局优化问题，数学。程序。，96, 3, 489-512 (2003) ·Zbl 1023.90049号 ·doi:10.1007/s10107-003-0372-z
[20] 保拉维奇乌斯，R。；Ju ilinskas，J.，线性约束Lipschitz优化问题的单纯形划分优势，Optim。莱特。，10, 2, 237-246 (2016) ·Zbl 1342.90151号 ·doi:10.1007/s11590-014-0772-4
[21] Strongin，R.G.，Sergeyev，Y.D.：《具有非凸约束的全局优化：序列和并行算法》，第45卷，第379-418页。柏林施普林格出版社（2013）
[22] Grishagin，V.，Israfilov，R.：具有可计算边界的域中的多维约束全局优化。摘自：CEUR研讨会记录。1513:Ural青年科学家并行、分布式和云计算第一次研讨会论文集（Ural-PDC 2015），叶卡捷琳堡（2015）
[23] Di Pillo，G。；Grippo，L.，约束优化中的精确罚函数，SIAM J.Control Optim。，27, 6, 1333-1360 (1989) ·Zbl 0681.49035号 ·数字对象标识代码：10.1137/0327068
[24] Di Pillo，G。；Lucidi，S。；Rinaldi，F.，基于精确罚函数的约束全局优化的无导数算法，J.Optim。理论应用。，164, 3, 862-882 (2015) ·Zbl 1330.90085号 ·doi:10.1007/s10957-013-0487-1
[25] Di Pillo，G。；刘齐，G。；Lucidi，S。；Piccialli，V。；Rinaldi，F.，《无导数约束全局优化的直接型方法》，计算。最佳方案。申请。，65, 2, 361-397 (2016) ·Zbl 1370.90189号 ·doi:10.1007/s10589-016-9876-3
[26] 刘杰。；特奥，吉隆坡；王，X。；Wu，C.，一种基于精确罚函数的约束全局优化差分搜索算法，Soft。计算。，20, 4, 1305-1313 (2016) ·doi:10.1007/s00500-015-1588-6
[27] Donskoi，VI，《部分定义的优化问题：基于模式识别理论的解决方案》，J.Sov。数学。，65, 3, 1664-1668 (1993) ·doi:10.1007/BF01097516
[28] Rudenko，LI，部分定义优化问题中的目标函数逼近，J.Math。科学。，72, 5, 3359-3363 (1994) ·doi:10.1007/BF01261697
[29] 谢尔盖耶夫，YD；德国科瓦索夫；Khalaf，FM，用于解决部分定义约束的GO问题的一维局部调整算法，Optim。莱特。，1，1，85-99（2007年）·Zbl 1122.90076 ·doi:10.1007/s11590-006-0015-4
[30] Bachoc，F.，Helbert，C.，Picheny，V.：失败的高斯过程优化：分类和收敛证明。HAL id:HAL-02100819，版本1（2019）
[31] 萨彻，M。；杜维诺，R。；勒梅尔，O。；杜兰德，M。；E.贝里尼。；佛罗里达州豪维尔。；Astolfi，JA，在非计算域中高效全局优化的分类方法，结构。多磁盘。最佳。，58, 4, 1537-1557 (2018) ·doi:10.1007/s00158-018-1981-8
[32] Digabel，S.L.，Wild，S.M.：基于仿真的优化中的约束分类。arXiv预印arXiv:1505.07881（2015）
[33] 埃尔南德斯·洛巴托，JM；马萨诸塞州盖尔巴特；亚当斯，RP；霍夫曼，MW；Ghahramani，Z.，《使用基于信息的搜索进行约束贝叶斯优化的通用框架》，J.Mach。学习。研究，17，1，5549-5601（2016）·Zbl 1391.90641号
[34] Gorji Daronkolaei，A.，Hajian，A.，Custis，T.：分段光滑约束问题的约束贝叶斯优化。摘自：《人工智能进展：第31届加拿大人工智能会议》，2018年5月8日至11日，加拿大安大略省多伦多，2018年，《会议记录》，第31期，第218-223页（2018）
[35] Picheny，V.，Gramacy，R.B.，Wild，S.，Le Digabel，S.：混合约束下的贝叶斯优化与松弛变量增广拉格朗日。摘自：《神经信息处理系统进展》，第1435-1443页（2016年）
[36] 费利奥特，P。；Bect，J。；Vazquez，E.，约束单目标优化的贝叶斯方法，J.Glob。最佳。，67, 1-2, 97-133 (2017) ·Zbl 1390.90441号 ·doi:10.1007/s10898-016-0427-3
[37] 格莱美，RB；Lee，HKM；霍姆斯，C。；Osborne，M.，未知约束下的优化，贝叶斯统计，9229（2012）
[38] Bernardo，J。；巴亚里，MJ；JO伯杰；阿联酋Dawid；赫克曼，D。；Smith，原子力显微镜；West，M.，未知约束下的优化，贝叶斯统计，9，9，229（2011）
[39] Hernández-Lobato，J.M.，Gelbart，M.A.，Hoffman，M.W.，Adams，R.P.，Ghahramani，Z.：未知约束贝叶斯优化的预测熵搜索。摘自：第32届机器学习国际会议论文集，37（2015）
[40] Sui，Y.，Gotovos，A.，Burdick，J.，Krause，A.：高斯过程优化的安全探索。在：国际机器学习会议，997-1005（2015）
[41] Sui，Y.，Zhuang，V.，Burdick，J.W.，Yue，Y.：高斯过程分段安全贝叶斯优化。arXiv预印arXiv:1806.07555（2018）
[42] 肖尔科夫，B。；Smola，AJ，《使用内核学习：支持向量机、正则化、优化和超越》（2001），剑桥：麻省理工学院出版社，剑桥
[43] 斯坦瓦特，I。；Christmann，A.，《支持向量机》（2008），柏林：施普林格出版社，柏林·Zbl 1203.68171号
[44] 巴苏达尔，A。；德里布施，C。；拉卡泽，S。；密苏姆，S.，使用支持向量机的约束高效全局优化，结构。多磁盘。最佳。，46, 2, 201-221 (2012) ·Zbl 1274.90271号 ·doi:10.1007/s00158-011-0745-5
[45] Tsai，Y.A.，Perego，R.，Pedrielli，G.，Zbinsky，Z.B.，Candelieri，A.，Huang，H.，Mathesen，L.：可行性确定的随机优化：在配水管网水泵运行中的应用。摘自：2018年冬季模拟会议（WSC 2018），2018年冬季仿真会议，12月9日至12日，瑞典哥德堡
[46] Candelieri，A。；佩雷戈，R。；Archetti，F.，《配水系统中泵操作的贝叶斯优化》，J.Glob。最佳。，71, 1, 213-235 (2018) ·Zbl 1402.90126号 ·doi:10.1007/s10898-018-0641-2
[47] 莱瑟姆，B。；卡勒，B。；奥托尼，G。；Bakshy，E.，带噪声实验的约束贝叶斯优化，贝叶斯分析。，14, 2, 495-519 (2018) ·Zbl 1416.62156号 ·doi:10.1214/18-BA1110
[48] Candelieri，A.，Archetti，F.：基于黑盒约束的顺序模型优化：通过机器学习确定可行性。In:AIP会议记录2070（1），020010，AIP出版社（2019）·Zbl 1433.62003年
[49] Sergeyev，Y.D.，Kvasov，D.E.，Mukhametzhanov，M.S.：基于非线性约束的Emmental型GKLS多极值光滑测试问题。收录人：R.Battiti等人（编辑）：LION 2017，LNCS 10556，第383-388页，Springer，Cham（2017）
[50] 拉斯穆森，CE；Williams，CK，机器学习的高斯过程，715-719（2006），剑桥：麻省理工学院出版社，剑桥·Zbl 1177.68165号
[51] Wu，J.，Poloczek，M.，Wilson，A.G.，Frazier，P.：带梯度的贝叶斯优化。摘自：《神经信息处理系统进展》，第5267-5278页（2017年）
[52] Brochu，E.，Cora，V.M.，De Freitas，N.：关于昂贵成本函数的贝叶斯优化的教程，应用于主动用户建模和分层强化学习。arXiv预印arXiv:1012.2599（2010）
[53] DJ Hartfiel；Curry，GL，关于优化某些由模拟过程部分定义的非线性凸函数，数学。程序。，13, 1, 88-93 (1977) ·Zbl 0377.90080号 ·doi:10.1007/BF01584326
[54] Srinivas，N.、Krause，A.、Kakade，S.M.、Seeger，M.：强盗背景下的高斯过程优化：无遗憾和实验设计。摘自：《机器学习国际会议论文集》，第1015-1022页（2010年）
[55] 阿联酋奈夫；Kakandikar，总经理；Kulkarni，O.，Grasshopper优化算法在约束和非约束测试函数中的应用，Swarm Intel国际期刊。埃沃。计算。，6、165、2（2017）
[56] Simionescu，P.A.，Beale，D.G.：目标函数图形可视化的新概念。摘自：ASME 2002国际设计工程技术会议和工程中的计算机和信息会议，第891-897页（2002）
[57] Mishra，S.K.：一些新的测试函数，用于全局优化和排斥粒子群方法的性能。MPRA第2718号文件（2008）
[58] 皮奇尼，V。；Wagner，T。；Ginsbourger，D.，基于kriging的噪声优化填充标准基准，Struct。多磁盘。最佳。，48, 3, 607-626 (2012) ·文件编号：10.1007/s00158-013-0919-4
[59] 黄，D。；艾伦，TT；威斯康星州诺茨；Zheng，N.，通过序列Kriging元模型对随机黑盒系统进行全局优化，J.Glob。最佳。，3, 34, 441-466 (2006) ·邮编1098.90097 ·doi:10.1007/s10898-005-2454-3
[60] Hoffman，M.D.，Brochu，E.，De Freitas，N.：贝叶斯优化的投资组合分配，In:UAI，pp.327-336（2011）
[61] 弗吉尼亚州格里沙金，一些全局搜索算法的操作特性，Probl。斯托克。搜索，7198-206（1978）·Zbl 0442.90087号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。