×
索尔·托斯卡诺·帕梅林;彼得·弗雷泽。

具有昂贵被积函数的贝叶斯优化。 （英语） Zbl 07510409号

SIAM J.Optim公司。 32，第2期，417-444（2022）.
摘要：无凸导数耗时目标通常使用“黑盒”优化进行优化。这些方法对目标的假设很少。虽然广泛适用，但与利用更多问题结构的方法相比，它们通常需要更多的评估。通常，这种耗时的目标实际上是大量函数的总和或积分，每个函数在单独评估时都会消耗大量时间。这出现在飞机设计、分乘调度系统中的参数选择以及深层神经网络中的超参数调整中。我们开发了一种新的贝叶斯优化算法，利用这种结构来提高性能。当被积函数的单个评估值保持在评估预算内时，我们的算法是平均情况下的最优构造。实现这种一步优化需要解决一个具有挑战性的信息优化问题，为此我们提供了一种新的高效的无离散化计算方法。对于作为和的目标函数，我们还证明了我们的方法在连续域和离散有限域中的一致性。在数值实验中，与以前最先进的方法（包括那些也利用和或积分结构的方法）相比，我们的方法在一系列问题上表现得一样好或更好，并且在评估有噪声或被积函数在积分变量中平稳变化时，可以提供显著的改进。

引用于三文件

MSC公司：

2015年1月62日 贝叶斯推断
62K99型 统计实验设计
62升05 顺序统计设计
62F07型 统计排名和选择程序

关键词：

贝叶斯优化;高斯过程;黑盒优化

软件：

SMAC公司;github;OpenMDAO接口;LBFGS-B型;亚当;EGO公司;青蒿素;PMTK公司;L-BFGS公司;L-BFGS-B型
PDF格式BibTeX公司 XML格式引用
\textit{S.Toscan-Palmerin}和\textit{P.I.Frazier}，SIAM J.Optim。32，编号2，417--444（2022；Zbl 07510409）
全文： 内政部 arXiv公司

参考文献：

[1] R.Bardenet、M.Brendel、B.Keígl和M.Sebag（2013），协作超参数调优，《第30届机器学习国际会议论文集》（ICML 2013），第28卷，美国计算机学会，纽约，199-207页。
[2] J.-F.Barthelemy和R.Haftka（1993），最佳结构设计的近似概念——综述，结构。多磁盘。最佳。，5，第129-144页。
[3] R.G.Bartle（1966），《整合的要素》，John Wiley&Sons出版社，纽约·Zbl 0146.28201号
[4] J.Bect、F.Bachoc和D.Ginsbourger（2016年），基于高斯过程的实验顺序设计的超常方法，预印本，https://arxiv.org/abs/1608.01118。 ·Zbl 1428.62369号
[5] E.V.Bonilla、K.M.Chai和C.Williams（2007），多任务高斯过程预测，摘自《神经信息处理系统进展》20（NIPS 2007），NeurIPS，加利福尼亚州圣地亚哥，第153-160页。
[6] A.Booker、J.Dennis、P.Frank、D.Serafini和V.Torczon（1998），直升机测试示例上使用替代目标的优化，收录于优化设计和控制的计算方法，Birkha用户波士顿，马萨诸塞州波士顿，第49-58页·Zbl 0937.76067号
[7] E.Brochu、V.M.Cora和N.De Freitas（2010），《昂贵成本函数的贝叶斯优化教程及其在主动用户建模和分层强化学习中的应用》，预印本，https://arxiv.org/abs/1012.599。
[8] A.D.Bull（2011），高效全局优化算法的收敛速度，J.Mach。学习。第12号决议，第2879-2904页·Zbl 1280.90094号
[9] D.Cohn（1996），《使用最佳实验设计的神经网络探索》，《神经网络》，第6期，第1071-1083页。
[10] J.Dennis和V.Torczon（1997），《管理优化中的近似模型》，载于《多学科设计优化》（弗吉尼亚州汉普顿，1995），费城SIAM，第330-347页。
[11] A.Forrester、A.Sobester和A.Keane（2008），《通过替代建模进行工程设计：实用指南》，John Wiley&Sons，纽约。
[12] A.I.Forrester、A.Soíbester和A.J.Keane（2007年），《通过代理建模实现多精度优化》，Proc。R.Soc.伦敦。数学。物理学。工程科学。，第463页，第3251-3269页·Zbl 1142.90489号
[13] P.Frazier、W.B.Powell和S.Dayanik（2008），用于顺序信息收集的知识梯度策略，SIAM J.Control Optim。，47，第2410-2439页，https://doi.org/10.1137/070693424。 ·Zbl 1274.62155号
[14] P.Frazier、W.Powell和S.Dayanik（2009），相关正常信念的知识粒度政策，INFORMS J.Compute。，21，第599-613页·Zbl 1243.91014号
[15] P.I.Frazier（2018），贝叶斯优化，《当代问题优化和建模的最新进展》，INFORMS，马里兰州卡通斯维尔，第255-278页。
[16] D.Ginsbourger和R.Le Riche（2010），《有限时间范围内基于高斯过程的优化》，载于《mODa 9-面向模型的设计与分析进展》，Springer，纽约，第89-96页。
[17] P.Glasserman（2004），《金融工程中的蒙特卡罗方法》，应用。数学。（纽约州）53，Springer，New York·兹比尔1038.91045
[18] P.Goovaerts（1997），《用于自然资源评估的地质统计学》，牛津大学出版社，英国牛津。
[19] J.S.Gray、J.T.Hwang、J.R.R.A.Martins、K.T.Moore和B.A.Naylor（2019年），《OpenMDAO:多学科设计、分析和优化的开源框架》，结构。多磁盘。最佳。，59，第1075-1104页。
[20] P.Groot、A.Birlutiu和T.Heskes（2010），贝叶斯蒙特卡罗（Bayesian Monte Carlo），用于昂贵函数的全局优化，《第19届欧洲人工智能会议（ECAI）论文集》，葡萄牙里斯本，第249-254页·Zbl 1211.65078号
[21] S.G.Henderson和R.Pasupathy（2018），SimOpt，网址：http://simopt.org/。
[22] R.Howard（1966），信息价值理论，IEEE Trans。系统科学。《控制论》，第2期，第22-26页。
[23] F.Hutter、H.H.Hoos和K.Leyton-Brown（2011），通用算法配置的基于序列模型的优化，《学习与智能优化》，纽约斯普林格出版社，第507-523页。
[24] C.Jin、R.Ge、P.Netrapalli、S.Kakade和M.Jordan（2017年），《如何有效逃避鞍点》，预印本，https://arxiv.org/abs/1703.00887。
[25] D.R.Jones、M.Schonlau和W.J.Welch（1998），昂贵黑箱函数的有效全局优化，J.global Optim。，13，第455-492页·Zbl 0917.90270号
[26] K.Kersting、C.Plagemann、P.Pfaff和W.Burgard（2007），《最可能的异方差高斯过程回归》，载于《第24届机器学习国际会议论文集》（ICML 2007），第28卷，美国计算机学会，纽约，第393-400页。
[27] S.Kim和B.Nelson（2007），排名和选择的最新进展，《2007年冬季模拟会议论文集》，IEEE，华盛顿特区，第162-172页。
[28] D.Kingma和J.Ba（2014），Adam：随机优化方法，预印本，https://arxiv.org/abs/1412.6980。
[29] C.Lam（2008），响应面模型拟合计算机实验中的顺序自适应设计，博士论文，俄亥俄州立大学，哥伦布，俄亥俄州。
[30] J.Lehman、T.Santner和W.Notz（2004），《设计计算机实验以确定鲁棒控制变量》，Statist。Sinica，14，第571-590页·Zbl 1047.62121号
[31] R.P.Liem、G.Kenway和J.Martins（2014），《通过多点空气结构优化实现多任务飞机燃油消耗最小化》，美国航空航天局期刊，53，第104-122页。
[32] M.Lukic和J.Beder（2001），再生核Hilbert空间中具有样本路径的随机过程，Trans。阿默尔。数学。Soc.，353，第3945-3969页·Zbl 0973.60036号
[33] S.Mahajan和G.van Ryzin（2001），《动态消费者替代下的库存零售产品组合》，Oper。决议，49，第334-351页·Zbl 1163.90339号
[34] J.Marzat、E.Walter和H.Piet-Lahanier（2013），通过kriging和松弛实现黑盒函数的最坏情况全局优化，J.global Optim。，第55页，第707-727页·Zbl 1268.90054号
[35] P.Milgrom和I.Segal（2002），任意选择集的包络定理，《计量经济学》，70，第583-601页·Zbl 1103.90400号
[36] J.Mockus（1989），《贝叶斯全局优化方法：理论与应用》，荷兰多德雷赫特Kluwer学术出版社·Zbl 0693.49001号
[37] I.Motivate International（2015），花旗自行车网站，http://www.citibikenyc.com/（2015年5月访问）。
[38] J.Mueller和C.A.Shoemaker（2014），集成代理模型和抽样策略对计算成本高昂的黑盒全局优化问题算法解质量的影响，J.global Optim。，60，第123-144页·Zbl 1312.90064号
[39] K.P.Murphy（2012），《机器学习：概率观点》，麻省理工学院出版社，马萨诸塞州剑桥·Zbl 1295.68003号
[40] R.M.Neal（1997），用于贝叶斯回归和分类的高斯过程模型的蒙特卡罗实现，预印本，https://arxiv.org/abs/physics/9701026。
[41] R.M.Neal（2003），切片取样，Ann.Statist。，31，第705-767页·Zbl 1051.65007号
[42] D.Newton、F.Yousefian和R.Pasupathy（2018年），《随机梯度下降：近期趋势》，《当代问题优化和建模的最新进展》，INFORMS，马里兰州卡通斯维尔，第193-220页。
[43] A.O’Hagan（1991），Bayes-Hermite求积，J.Statist。计划。推论，29，第245-260页·Zbl 0829.65024号
[44] M.Poloczek、J.Wang和P.I.Frazier（2016），温启动贝叶斯优化，2016年冬季模拟会议（WSC），IEEE，华盛顿特区，第770-781页。
[45] M.Poloczek、J.Wang和P.Frazier（2017），多信息源优化，《神经信息处理系统进展》，NeurIPS，加州圣地亚哥，第4291-4301页。
[46] W.Powell和P.Frazier（2008），《最佳学习》，信息系统，卡通斯维尔，马里兰州。
[47] C.Rasmussen和C.Williams（2006），机器学习的高斯过程，麻省理工学院出版社，马萨诸塞州剑桥·Zbl 1177.68165号
[48] J.Sacks、W.J.Welch、T.J.Mitchell和H.P.Wynn（1989年），《计算机实验的设计和分析》，《统计学》。科学。，4，第409-435页·Zbl 0955.62619号
[49] S.Sankaran和A.Marsden（2010），不确定性对非恒定流中理想旁路移植模型形状优化的影响，Phys。流体，22121902。
[50] M.Seeger、Y.-W.Teh和M.Jordan（2005），半参数潜在因素模型，技术报告，EPFL报告161465。
[51] B.Shahriari、K.Swersky、Z.Wang、R.Adams和N.De Freitas（2016年），《让人类脱离循环：贝叶斯优化综述》，Proc。IEEE，104，第148-175页。
[52] J.Snoek、H.Larochelle和R.P.Adams（2012），机器学习算法的实用贝叶斯优化，《神经信息处理系统进展》，NeurIPS，加利福尼亚州圣地亚哥，第2951-2959页。
[53] K.Swersky、J.Snoek和R.P.Adams（2013），多任务贝叶斯优化，《神经信息处理系统进展》，NeurIPS，加利福尼亚州圣地亚哥，第2004-2012页。
[54] S.Toscano Palmerin（2019），《飞机问题》，https://github.com/toscanosaul/baysian_quadraure_optimization/blob/master/problems/airfaft/fuel_burn.py。
[55] S.Toscan-Palmerin和P.I.Frazier（2016），分层贝叶斯优化，2016年蒙特卡罗和准蒙特卡罗方法会议记录，预印本，https://arxiv.org/abs/1602.02338。 ·Zbl 1411.90244号
[56] B.J.Williams、T.J.Santner和W.I.Notz（2000年），最小化综合响应函数的计算机实验顺序设计，Statist。Sinica，第10页，第1133-1152页·Zbl 0961.62069号
[57] J.Wu、M.Poloczek、A.Wilson和P.Frazier（2017），梯度贝叶斯优化，《神经信息处理系统进展》，NeurIPS，加利福尼亚州圣地亚哥，第5273-5284页。
[58] J.Xie、P.Frazier、S.Sankaran、A.Marsden和S.Elmohamed（2012），用高斯过程和参数不确定性优化计算昂贵的模拟：在心血管手术中的应用，第50届Allerton通信、控制和计算年会，伊利诺伊州Allerton，第406-413页。
[59] C.Zhu、R.Byrd、P.Lu和J.Nocedal（1997），算法778:L-BFGS-B:大规模有界约束优化的Fortran子程序，ACM Trans。数学。《软件》，23，第550-560页·Zbl 0912.65057号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。