×
翟建元;法尼省布库瓦拉

用于基于模拟的黑盒优化的基于代理的分枝定界算法。 （英语） Zbl 1532.90128号

最佳方案。工程师。 24，第3期，1463-1491（2023）.
摘要：基于Black-box代理的优化受到了越来越多的关注，因为人们对使用嵌入式仿真数据解决优化问题越来越感兴趣。基于代理的优化的主要挑战是由于初始化、采样、代理模型选择和训练过程引入的可变性，缺乏一致收敛的行为。在这项工作中，我们建立在我们之前提出的数据驱动的分枝定界算法的基础上，该算法由自适应采样和不完全准确的代理模型的边界驱动。这项工作结合了克里格和支持向量回归代理，并提出了不同的边界策略。还提出并比较了各种数据驱动的分支启发式。这项工作的关键发现是，通过边界拟合近似代理模型，可以采用一种分枝定界结构，尽管样本初始化和代理模型的选择和训练不同，但这种结构收敛到相同的最优值。使用最多10个变量的箱约束非线性基准问题测试算法的性能。

MSC公司：

90立方 非线性规划
90C57型 多面体组合学，分支与绑定，分支与切割

关键词：

黑盒优化;代理人;机器学习;高斯过程;支持向量回归;分叉装订

软件：

乌比卡;NLopt公司;安提戈内;SNOBFIT公司;最大连续性;MultiMin（最小值）;梅隆;阿戈纳特;EGO公司;伊波特;GOPS公司;ENTMOOT公司;字母BB
PDF格式BibTeX公司 XML格式引用
\textit{J.翟}和\textit{F.布库瓦拉}，Optim。工程24，编号3，1463-1491（2023；Zbl 1532.90128）
全文： DOI程序

参考文献：

[1] Alarie，S。；Audet，C。；Gheribi，AE；科科拉拉斯，M。；Le Digabel，S.，《二十年的黑匣子优化应用》，EURO J Comput Optim，9（2021）·Zbl 1516.90090号
[2] 阿马兰，S。；内华达州萨希尼迪斯；沙尔达，B。；Bury，SJ，《模拟优化：算法和应用综述》，4OR，12，301-333（2014）·Zbl 1317.90002号
[3] Androulakis，IP；马拉纳斯，CD；Floudas，CA，αBB:一般约束非凸问题的全局优化方法，J global Optim，7337-363（1995）·Zbl 0846.90087号
[4] Audet，C。；Cóté-Masicotte，J.，直接搜索优化中静态代理的动态改进，Optim Lett，13，1433-1447（2019）·Zbl 1431.90177号
[5] Audet，C。；Dennis，JE Jr.，用于约束优化的网格自适应直接搜索算法，SIAM J Optim，17，188-217（2006）·Zbl 1112.90078号
[6] 巴贾杰，I。；Faruque Hasan，MM，有界Hessian黑盒问题的确定性全局无导数优化，Optim-Lett，14，1011-1026（2019）·Zbl 1439.90077号
[7] 巴贾杰，I。；艾耶，SS；Faruque Hasan，MM，基于信任区域的两阶段算法，用于初始点不可行的约束黑盒和灰盒优化，计算化学工程，116，306-321（2018）
[8] Bhosekar，A。；Ierepatritou，M.，《基于替代物的建模、可行性分析和优化进展：综述》，《计算化学工程》，108，250-267（2018）
[9] 布库瓦拉，F。；Floudas，CA，ARGONAUT:约束灰盒计算问题的全局优化算法，Optim Lett，11，895-913（2017）·兹比尔1373.90113
[10] 布库瓦拉，F。；Ierepatritou，MG，《基于代理的连续制药昂贵流程建模优化》，J Pharm Innov，8131-145（2013）
[11] 布库瓦拉，F。；米塞纳，R。；Floudas，CA，混合整数非线性规划中的全局优化进展，MINLP和约束无导数优化，CDFO，Eur J Oper Res，252701-727（2016）·Zbl 1346.90677号
[12] 加利福尼亚州卡巴列罗；Grossmann，IE，《模块化流程优化中使用代理模型的算法》，AIChE J，54，2633-2650（2008）
[13] Cherkassky，V。；Ma，Y.，SVM回归中SVM参数的实际选择和噪声估计，神经网络，17，113-126（2004）·兹比尔1075.68632
[14] SM克拉克；格里布施，JH；Simpson，TW，复杂工程分析近似的支持向量回归分析，J Mech Des，1271077-1087（2004）
[15] Conn AR、Scheinberg K、Vicente LN（2009）《无导数优化（SIAM）导论》·Zbl 1163.49001号
[16] Cox DD，John S（1992）全局优化的统计方法。在【论文集】1992年IEEE系统、人与控制论国际会议，第2卷，第1241-46页
[17] Cozad，A。；内华达州萨希尼迪斯；Miller，DC，《基于仿真的优化学习代理模型》，AIChE J，602211-2227（2014）
[18] 伊森，J。；Cremaschi，S.，《利用人工神经网络生成替代模型的自适应序贯抽样》，《计算化学工程》，68，220-232（2014）
[19] 加西亚-加西亚，JC；加西亚·罗德纳斯（García-Ródenas），R。；Codina，E.，一个基于代理的协作优化框架，用于计算成本高昂的黑盒问题，Optim Eng，21，1053-1093（2020）·Zbl 1457.90152号
[20] 加鲁德，SS；马里亚潘，N。；IA Karimi，《通过领域探索和智能布局实现基于代理的黑盒优化》，《计算化学工程》，第130期（2019年）
[21] 吉尔摩，P。；Kelley，CT，用于优化具有多个局部极小值的函数的隐式滤波算法，SIAM J Optim，5，269-285（1995）·Zbl 0828.65064号
[22] 加利福尼亚州Henao；Maravelias，CT，基于代理的上层建筑优化框架，AIChE J，57，1216-1232（2011）
[23] Hüllen，G。；翟，J。；Kim，上海；辛哈，A。；雷尔夫，MJ；Boukouvala，F.，《管理基于数据驱动模拟的优化中的不确定性》，计算化学工程，136106519（2019）
[24] Huyer，W。；Neumaier，A.，通过多级坐标搜索进行全局优化，J Global Optim，14，331-355（1999）·Zbl 0956.90045号
[25] Huyer，W。；Neumaier，A.，“SNOBFIT-基于分支和拟合的稳定噪声优化”，ACM trans，Math Softw，35，1-25（2008）
[26] Johnson SG（2018）NLopt非线性优化包。http://ab-initio.mit.edu/nlopt
[27] Jones，DR，《基于响应曲面的全局优化方法分类》，《全球优化杂志》，21，345-383（2001）·兹比尔1172.90492
[28] Jones博士；加利福尼亚州佛罗伦萨；Pardalos，PM，《直接全局优化算法》，《优化百科全书》（2009），马萨诸塞州波士顿：美国斯普林格，马萨诸纳州波士顿
[29] Jones博士；珀顿，CD；Stuckman，BE，无利普希茨常数的利普希兹优化，《最优化理论应用杂志》，79，157-181（1993）·Zbl 0796.49032号
[30] Jones博士；Schonlau，M。；Welch，WJ，昂贵黑盒函数的高效全局优化，J global Optim，13455-492（1998）·Zbl 0917.90270号
[31] Kennedy J，Eberhart R（1995），粒子群优化。收录：ICNN’95会议记录：1942-48年国际神经网络会议，第4卷
[32] 加利福尼亚州基斯利奇；布库瓦拉，F。；Floudas，CA，使用Smolyak网格和多项式近似优化黑箱问题，J Global Optim，71845-869（2018）·Zbl 1405.90107号
[33] Kim，SH；Boukouvala，F.，《基于机器学习的数据驱动优化替代建模：回归技术子集选择的比较》，Optim-Lett，14989-2010（2020）·Zbl 1444.90119号
[34] 柯克帕特里克，S。；盖拉特，CD；Vecchi，MP，《模拟退火优化》，《科学》，220671-680（1983）·Zbl 1225.90162号
[35] 科尔达，TG；Lewis，RM；Torczon，V.，《直接搜索优化：一些经典和现代方法的新视角》，SIAM Rev，45，385-482（2003）·Zbl 1059.90146号
[36] Kontogiannis，SG；马萨诸塞州萨维尔，《使用替代建模和多重分析进行多学科设计优化的通用方法》，Optim Eng，21，723-759（2020）
[37] Kushner HJ（1964）噪声存在下确定任意多峰值曲线最大点的新方法
[38] Larson，J。；Leyffer，S。；帕尔卡，P。；Wild，SM，凸黑盒整数全局优化的一种方法，J global Optim，80，439-477（2021）·Zbl 1473.90181号
[39] Lewis，RM；Torczon，V.，边界约束最小化的模式搜索算法，SIAM J Optim，9，1082-1099（1999）·Zbl 1031.90047号
[40] 曼诺，A。；阿马尔迪，E。；卡塞拉，F。；Martelli，E.，《代价高昂的黑盒问题的局部搜索方法及其在CSP工厂启动优化改进中的应用》，Optim Eng，211563-1598（2020）·Zbl 1457.90155号
[41] McBride，K。；Sundmacher，K.，《化学过程工程中替代建模概述》，化学工业技术，91，228-239（2019）
[42] 医学博士麦凯；贝克曼，RJ；Conover，WJ，在计算机代码输出分析中选择输入变量值的三种方法的比较，技术计量学，21239-245（1979）·Zbl 0415.62011号
[43] 梅耶，D。；Leisch，F。；Hornik，K.，《测试中的支持向量机》，神经计算，55，169-186（2003）
[44] 米塞纳，R。；Floudas，CA，ANTIGONE:非线性方程的连续/整数全局优化算法，J global Optim，59，503-526（2014）·兹比尔1301.90063
[45] 穆勒，J。；Park，J。；Sahu，R。；瓦拉达拉扬，C。；阿罗拉，B。；费比申科，B。；Agarwal，D.，地下水预测深度神经网络的替代优化，《全球优化杂志》，81，203-231（2021）·Zbl 1471.86009号
[46] 内尔德，JA；Mead，R.，函数最小化的单纯形方法，计算J，7308-313（1965）·Zbl 0229.65053号
[47] Powell，MJD，UOBYQA:二次近似无约束优化，数学程序，92，555-582（2002）·Zbl 1014.65050号
[48] 纽约州普拉尼克。；Sahinidis，NV，基于非凸箱约束优化最优条件的边界收紧，《全球优化杂志》，67，59-77（2017）·Zbl 1359.90107号
[49] Reeves，CR，面向运筹学研究人员的特征文章遗传算法，INFORMS J Compute，9，231-250（1997）·Zbl 0893.90145号
[50] 里奥斯，LM；Sahinidis，NV，《无导数优化：算法综述和软件实现比较》，《全球优化杂志》，561247-1293（2013）·Zbl 1272.90116号
[51] Ryoo，HS；内华达州萨希尼迪斯，《全局优化的分支与简化方法》，《全球优化杂志》，第8期，第107-138页（1996年）·Zbl 0856.90103号
[52] Schweidtmann，AM；Mitsos，A.，嵌入人工神经网络的确定性全局优化，《最优化理论应用杂志》，180925-948（2019）·Zbl 1407.90263号
[53] Schweidtmann，AM；Bongartz，D。；格罗特，D。；科尔肯霍夫，T。；林，X。；Najman，J。；Mitsos，A.，嵌入高斯过程的确定性全局优化，数学程序Comput，13553-581（2021）·Zbl 1476.90270号
[54] Schweidtmann，AM；JM韦伯；温德，C。；Netze，L。；Mitsos，A.，通过拓扑数据分析和一类分类遵守数据驱动模型的有效性极限，Optim Eng，23，855-876（2022）·兹比尔1494.90088
[55] 沙赫里亚里，B。；瑞典斯威斯基。；王，Z。；亚当斯，RP；De Freitas，N.，《让人类脱离循环：贝叶斯优化综述》，IEEE Proc，104，148-175（2015）
[56] Shukla HA、de Avila Ferreira T、Faulwasser T、Bonvin D、Jones CN（2020）基于高斯过程的随机无导数信任区域方法的收敛证明。arXiv预打印arXiv:2010.01120
[57] Stein，M.，使用拉丁超立方体采样的模拟大样本特性，技术计量学，29143-151（1987）·Zbl 0627.62010号
[58] Tawarmalani，M。；Sahinidis，NV，《混合整数非线性程序的全局优化：理论和计算研究》，《数学程序》，99，563-591（2004）·Zbl 1062.90041号
[59] Tawarmalani，M。；内华达州萨希尼迪斯，《全局优化的多面体分枝切割法》，《数学程序》，103，225-249（2005）·Zbl 1099.90047号
[60] Thebelt，A。；Kronqvist，J。；Mistry，M。；Lee，RM公司；苏德曼·梅克斯，N。；Misener，R.，ENTMOOT:集成树模型优化框架，计算化学工程，151（2021）
[61] Torczon，V.，《关于模式搜索算法的收敛性》，SIAM J Optim，7，1-25（1997）·兹伯利0884.65053
[62] Ughi G，Abrol V，Tanner J（2021）深度神经网络中针对黑盒攻击的衍生-自由优化算法的实证研究。Optim工程·Zbl 1498.90252号
[63] Vapnik，V.，《统计学习理论的本质》（1999），纽约：斯普林格出版社，纽约·Zbl 0928.68093号
[64] Vapnik，V。；Kotz，S.，基于经验数据的依赖性估计（2006），柏林：施普林格出版社，柏林
[65] 瓦希特，A。；Biegler，LT，《关于大规模非线性规划中点内滤波器线搜索算法的实现》，《数学程序》，106，25-57（2006）·兹比尔1134.90542
[66] 王，GG；Shan，S.，《支持工程设计优化的元建模技术综述》，《机械设计杂志》，129370-380（2006）
[67] Whitley，D.，《遗传算法教程》，《统计计算》，第465-85页（1994年）
[68] 夏，W。；Shoemaker，C.，GOPS：高效RBF代理全局优化算法，具有高维和多个并行处理器，包括应用于多模式水质PDE模型校准，Optim Eng，222741-2777（2021）·Zbl 1478.90098号
[69] 徐，WL；Nelson，BL，通过模拟优化的经验随机分支和界，IIE Trans，45685-698（2013）
[70] 翟，J。；Boukouvala，F.，代理建模的非线性变量选择算法，AIChE J，65（2019）
[71] 翟，J。；Boukouvala，F.，用于基于盒子约束模拟优化的数据驱动空间分枝定界算法，《全球优化杂志》，82，21-50（2022）·Zbl 1484.90091号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。