×

变尺寸设计空间问题的贝叶斯优化。 (英语) Zbl 1473.90095号

摘要:在复杂系统设计的框架内,通常需要求解混合变量优化问题,其中目标函数和约束函数可以同时依赖于连续变量和离散变量。此外,复杂的系统设计问题有时会出现大小可变的设计空间。这导致优化问题,对于该优化问题,搜索空间作为特定离散决策变量的值的函数沿着优化过程动态变化(相对于变量的数量和类型)。同样,约束的数量和类型也可能不同。为了解决这类优化问题,本文提出了两种基于贝叶斯优化的备选方法。第一个由预算分配策略组成,允许将计算预算集中在最有前途的设计子空间上。相反,第二种方法基于核函数的定义,允许计算由部分不同变量集表征的样本之间的协方差。在分析和工程相关测试用例上获得的结果表明,相对于标准方法,这两种方法的收敛速度更快、更一致。

MSC公司:

90立方厘米11 混合整数编程
90立方 非线性规划
90 C56 无导数方法和使用广义导数的方法
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] Abadi M、Agarwal A、Barham P、Brevdo E、Chen Z、Citro C、Corrado GS、Davis A、Dean J、Devin M、Ghemawat S、Goodfellow I、Harp A、Irving G、Isard M、Jia Y、Jozefowicz R、Kaiser L、Kudlur M、Levenberg J、ManéD、Monga R、Moore S、Murray D、Olah C、Schuster M、Shlens J、Steiner B、Sutskever I、Talwar K、Tucker P、Vanhoucke V、Vasudevan V、Vi gas F、,Vinyals O,Warden P,Wattenberg M,Wicke M,Yu Y,Zheng X(2015)TensorFlow:异构系统上的大规模机器学习,2015。软件可从tensorflow.org获得
[2] Abdelkhalik O(2013)使用差分进化方法对具有深空机动的多重重力辅助轨道进行自主规划。国际航空工程师杂志,1-11
[3] 马萨诸塞州艾布拉姆森;Audet,C。;克里斯斯,JW;Walston,JG,混合变量优化的网格自适应直接搜索算法,Optim-Lett,3,1,35-47(2009)·Zbl 1154.90551号 ·doi:10.1007/s11590-008-0089-2
[4] 马萨诸塞州艾布拉姆森;Audet,C。;Dennis,JE Jr,混合变量约束优化问题的过滤模式搜索算法,Pac J Optim,3,3,477-500(2007)·Zbl 1138.65043号
[5] 马萨诸塞州阿尔瓦雷斯;Rosasco,L。;劳伦斯,ND,《向量值函数的内核:综述》,《发现趋势——机器学习》,4,3,195-266(2012)·Zbl 1301.68212号 ·数字对象标识代码:10.1561/22000036
[6] Audet,C。;Dennis,JE Jr,混合变量编程的模式搜索算法,SIAM J Optim,11,3,573-594(2000)·Zbl 1035.90048号 ·doi:10.1137/S1052623499352024
[7] Audet C,Denni J,Moore D,Booker A,Frank P(2000)基于代理模型的约束优化方法。In:第八届多学科分析与优化研讨会
[8] 伯德·理查德,H。;佩黄,L。;Jorge,N。;Ciyou,Z.,用于约束优化的有限内存算法,SIAM J Sci-Comput,16,511190-1208(1995)·Zbl 0836.65080号 ·doi:10.1137/0916069
[9] 塞德里克·D·。;朱利安,M。;Mathieu,B.,基于Kriging的约束全局优化多目标方法分析,Comput Optim Appl,63,3,903-926(2016)·Zbl 1343.90066号 ·doi:10.1007/s10589-015-9789-6
[10] de Matthews股份有限公司;范德威尔克,M。;Nickson,T。;Fujii,K。;布库瓦拉斯,A。;León-Villagrá,P。;加赫拉马尼,Z。;Hensman,J.,《GPflow:使用TensorFlow的高斯过程库》,J Mach Learn Res,18,40,1-6(2017)·Zbl 1437.62127号
[11] Filomeno Coelho Rajan,基于移动最小二乘法的混合变量元模型,Optim Eng,15,2,311-329(2014)·Zbl 1364.74075号 ·doi:10.1007/s11081-013-9216-8
[12] Frank CP(2016)一种设计空间探索方法,用于支持需求不断变化的不确定性下的决策及其在先进车辆中的应用
[13] Frazier PI,Clark SC(2012)使用改进的多点预期改进标准进行并行全局优化。In:INFORMS优化协会会议,佛罗里达州迈阿密,第26卷
[14] Félix-Antoine,F。;Marc-André,DRF-MG;Marc,P。;Christian,G.,《DEAP:进化算法变得容易》,J Mach Learn Res,13,2171-2175(2012)
[15] Ginsbourger D、Le Riche R、Carraro L(2010)Kriging非常适合并行优化。In:昂贵优化问题中的计算智能,Springer,BErlin,pp 131-162
[16] Girdziušas R、Janusevskis J、Le Riche R(2012)《关于多点改进的整合》
[17] Goldberg,DE,《搜索、优化和机器学习中的遗传算法》(1989),纽约:Addison-Wesley Longman Publishing Co.,Inc,纽约·Zbl 0721.68056号
[18] Halstrup M(2016)混合离散包含优化问题的黑盒优化。TU Dortmund博士论文
[19] Herbrich R,Lawrence ND,Seeger M(2003)《快速稀疏高斯过程方法:信息向量机》。主题:神经信息处理系统的进展,第625-632页
[20] HoHo,R.,求函数最大值或最小值的自动方法,计算J,3,3,175-184(1960)·doi:10.1093/comjnl/3.3.175
[21] Horn D、Stork J、Schüßler N-J、Zaefferer M(2019)《分层搜索空间的替代:楔形核和自动分析》。摘自:《遗传和进化计算会议论文集》,第916-924页
[22] Hutter F(2009)解决硬计算问题的算法自动配置。不列颠哥伦比亚大学博士论文
[23] Hutter F,Osborne MA(2013)层次参数空间的内核。arXiv预印本arXiv:1310.5738
[24] Jonas,M.,贝叶斯方法在全局和随机优化数值方法中的应用,J global Optim,4,4,347-365(1994)·Zbl 0801.90099 ·doi:10.1007/BF01099263
[25] Jones博士;马提亚斯,S。;Welch William,J.,昂贵黑盒函数的高效全局优化,J global Optim,13,455-492(1998)·Zbl 0917.90270号 ·doi:10.1023/A:1008306431147
[26] 朱利安,P。;Loíc,B。;马修,B。;El-Ghazali,T。;Yannick,G.,《如何处理混合变量优化问题:算法和公式概述》,《结构和多学科优化进展》,64-82(2018),Cham:Springer International Publishing,Cham
[27] 朱利安,P。;Loíc,B。;马修,B。;El-Ghazali,T。;Yannick,G.,约束混合变量问题的高效全局优化,J global Optim,73,3,583-613(2019)·Zbl 1420.90051 ·doi:10.1007/s10898-018-0715-1
[28] 土地,AH;Doig,AG,《解决离散编程问题的自动方法》,1958-2008,105-132(2010),柏林:施普林格出版社,柏林·Zbl 1187.90016号 ·doi:10.1007/978-3-540-68279-05
[29] Lehel,C。;Manfred,O.,稀疏在线高斯过程,神经计算,14,3,641-668(2002)·Zbl 0987.62060号 ·网址:10.1162/089976602317250933
[30] 医学博士麦凯;B.理查德。;William,C.,《计算机代码输出分析中选择输入变量值的三种方法的比较》,《技术计量学》,21,2,239(1979)·兹伯利0415.62011
[31] 密恩,新罕布什尔州;Ossama,A。;Nilufer,O.,《用于可变尺寸自主行星际轨道规划优化的结构化染色体进化算法》,《航空工业信息系统杂志》,12,3,314-328(2015)
[32] Minasny B,McBratney AB(2005)作为土壤变异函数的一般模型的Matérn函数。收录:阿姆斯特丹Elsevier Geoderma,第128卷,第192-207页
[33] Nachman,A.,《再生核理论》,《跨美洲数学社会》,第68、3、337-404页(1950年)·Zbl 0037.20701号 ·doi:10.1090/S0002-9947-1950-0051437-7
[34] Nelder John,A。;Roger,M.,函数最小化的单纯形方法,计算J,7,4,308-313(1964)·Zbl 0229.65053号 ·doi:10.1093/comjnl/7.4.308
[35] Ossama,A.,可变尺寸设计空间问题的隐藏基因遗传优化,J Optim Theory Appl,156,2450-468(2013)·Zbl 1262.90133号 ·doi:10.1007/s10957-012-0122-6
[36] Pelamatti J,Brevault L,Balesdent M,Talbi E,Guerin Y(2019)基于代理模型的约束混合变量问题优化:在运载火箭推力框架设计中的应用。参加:AIAA 2019年科技论坛·Zbl 1420.90051
[37] Pelamatti J,Brevault L,Balesdent M,Talbi E,Guerin Y(2020)基于高斯过程的混合连续变量和离散变量代理模型的概述和比较:在航空航天设计问题上的应用。In:基于高性能仿真的优化,柏林施普林格,第189-224页
[38] Prasadh N、Moss R、Collett K、Nelese A、Edwards S、Mavris DN(2014)《中小企业驱动的空间系统架构向下选择的系统方法》。收件人:AIAA SPACE 2014年会议和展览会,第4-7页
[39] Priem R,Bartoli N,Diouane Y(2019)关于约束贝叶斯优化填充标准中的上信任界的使用。摘自:AIAA航空2019论坛,第2986页
[40] 拉斯穆森,CE;Williams,CKI,机器学习的高斯过程(2006),剑桥:麻省理工学院出版社,剑桥·Zbl 1177.68165号
[41] Roustant O,Padonou E,Deville Y,Clément A,Perrin G,Giorla J,Wynn H(2018)带分类输入的高斯过程元模型的组核。arXiv预打印arXiv:1802.02368·Zbl 1443.60040号
[42] 桑特纳,TJ;威廉姆斯,BJ;威斯康星州诺茨,《计算机实验的设计与分析》(2003),纽约:施普林格出版社,纽约·Zbl 1041.62068号 ·doi:10.1007/978-1-4757-3799-8
[43] Sasena MJ(2002),使用克里金近似进行约束全局设计优化的灵活性和效率增强。博士论文
[44] 肖尔科夫,B。;Smola,AJ,《使用内核学习:支持向量机、正则化、优化和超越》(2001),剑桥:麻省理工学院出版社,剑桥
[45] 辛普森·蒂莫西(Simpson Timothy,W.)。;Peplinski,法学博士;Koch Patrick,N。;Allen Janet,K.,《基于计算机的工程设计元模型:调查和建议》,《工程计算》,第17、2、129-150页(2001年)·Zbl 0985.68599号 ·doi:10.1007/PL00007198
[46] 斯特凡诺,L。;维罗妮卡,P。;Marco,S.,混合变量规划的算法模型,SIAM J Optim,15,4,1057-1084(2005)·Zbl 1077.65064号 ·doi:10.1137/S1052623403429573
[47] 斯坦瓦特,I。;Christmann,A.,支持向量机(2008),柏林:施普林格科学与商业媒体,柏林·Zbl 1203.68171号
[48] Stelmack M,Nakashima N,Batill S(1998)多学科设计中混合离散/连续优化的遗传算法。参加:1998年9月在弗吉尼亚州雷斯顿举行的第七届AIAA/USAF/NASA/ISSMO多学科分析和优化研讨会。美国航空航天研究所
[49] Swiler LP、Hough PD、Qian P、Xu X、Storlie C、Lee H(2014)混合离散控制变量的替代模型。In:约束编程和决策,柏林施普林格,第181-202页
[50] 维克多·P。;托比亚斯,W。;David,G.,基于kriging的含噪优化填充标准基准,Struct Multispecipl Optim,48,3,607-626(2013)·文件编号:10.1007/s00158-013-0919-4
[51] Wertz JR(2001)《任务几何:轨道和星座设计与管理:航天器轨道和姿态系统》。任务几何:轨道和星座设计与管理:航天器轨道和姿态系统。加利福尼亚州El Segundo;波士顿:微观世界:Kluwer学术出版社,2001年。空间技术图书馆;13
[52] Yichi,Z。;Apley Daniel,W。;Wei,C.,混合定量和定性变量材料设计的贝叶斯优化,科学代表,10,1,1-13(2020)·doi:10.1038/s41598-019-56847-4
[53] Zaefferer M,Horn D(2018)层次搜索空间中基于kriging优化的核的首次分析。摘自:自然并行问题解决国际会议,第399-410页。柏林施普林格
[54] Zhang Y,Notz WI(2015)《定性和定量变量的计算机实验:回顾和重新检验》。In:《质量工程》,Taylor&Francis出版社,第27卷,第2-13页
[55] Zhang Y,Tao S,Chen W,Apley DW(2019)使用定性和定量因素进行高斯过程建模的潜在变量方法。技术计量学,第1-12页
[56] 周,Q。;钱,PZG;周,S.,《利用定性和定量因素模拟计算机模型的简单方法》,《技术计量学》,53,3,266-273(2011)·doi:10.1198/TECH.2011.10025
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。