×

使用分位数高斯过程进行投影的高维贝叶斯优化。 (英语) Zbl 1433.90195号

概要:高维贝叶斯优化的关键挑战是学习响应面和优化捕获函数。采集功能选择一个新点来评估黑盒功能。这两个挑战都可以通过简化假设来解决,例如昂贵目标的可加性或内在低维性。在本文中,我们利用轴对齐投影的有效低维性,并对输入空间的划分进行优化。轴对齐投影为单个输入引入了多个输出,我们称之为不一致。我们用分位数回归导出的高斯过程(GP)对不一致性进行建模。我们表明,分位数GP和输入空间的划分提高了数据效率。特别是,通过仅对分位数函数进行建模,我们克服了在存在不一致的情况下GP超参数学习的问题。

MSC公司:

90 C56 无导数方法和使用广义导数的方法
2015年1月62日 贝叶斯推断
62K20型 响应面设计
PDF格式BibTeX公司 XML格式引用
全文: DOI程序

参考文献:

[1] Bergstra,J。;Bengio,Y.,《超参数优化的随机搜索》,J.Mach。学习。研究,13,281-305(2012)·兹比尔1283.68282
[2] Berkenkamp,F.,Angela,S.P.,Krause,A.:贝叶斯优化教程。致:ICRA(2015)·Zbl 1484.68179号
[3] Boukouvalas,A.,Barillec,R.,Cornford,D.:使用期望传播的高斯过程分位数回归。In:程序。ICML(2012)
[4] Brochu,E.,Cora,V.M.,de Freitas,N.:关于昂贵成本函数的贝叶斯优化教程,应用于主动用户建模和分层强化学习。In:CoRR(2010)
[5] 卡兰德拉,R。;Seyfarth,A。;Pj André;Deisenroth,Mp,《不确定性下学习步态的贝叶斯优化》,《数学年鉴》。AI,76,5-23(2016)
[6] Deisenroth,M.P.,Rasmussen,C.E.:PILCO:基于模型和数据效率的政策搜索方法。In:程序。ICML(2011)
[7] 弗雷泽,P.I.:贝叶斯优化教程,(2018年)。arXiv预打印arXiv:1807.02811
[8] 加内特,R。;Osborne,Ma;Reece,S。;罗杰斯,A。;Roberts,Sj,存在变化点和故障的序贯贝叶斯预测,计算。J.,53,1430-1446(2010)·doi:10.1093/comjnl/bxq003
[9] Hennig,P.,Kiefel,M.:准Newton方法:一个新方向。In:CoRR(2012)·Zbl 1320.62049号
[10] Hutter,F.,Hoos,H.H.,Leyton-Brown,K.:通用算法配置的基于序列模型的优化。In:程序。狮子(2011)
[11] 琼斯博士;珀顿,Cd;Stuckman,Be,无利普希茨常数的利普希兹优化,J.Optim。理论应用。,79, 157-181 (1993) ·Zbl 0796.49032号 ·doi:10.1007/BF00941892
[12] 琼斯博士;Schonlau,M。;Welch,Wj,昂贵黑箱函数的有效全局优化,J.global Optim。,13, 455-492 (1998) ·Zbl 0917.90270号 ·doi:10.1023/A:1008306431147
[13] Kandasamy,K.,Schneider,J.G.,Póczos,B.:通过加性模型的高维贝叶斯优化和强盗。In:程序。ICML(2015)
[14] Kushner,Hj,在噪声存在下定位任意多峰值曲线最大点的新方法,J.基础工程,86,97-106(1964)·数字对象标识代码:10.1115/1.3653121
[15] Minka,T.P.:近似贝叶斯推理的一系列算法。博士论文(2001)
[16] 莫库斯,J.:关于寻找极值的贝叶斯方法。In:程序。IFIP技术会议(1975年)·Zbl 0311.90042号
[17] 拉斯穆森,Ce;Williams,Cki,《机器学习的高斯过程》(2006),柏林:施普林格出版社,柏林·Zbl 1177.68165号
[18] Shahriari,B.,Swersky,K.,Wang,Z.,Adams,R.P.,de Freitas,N.:《让人脱离循环:贝叶斯优化综述》。In:程序。IEEE(2016)
[19] Snoek,J.,Larochelle,H.,Adams,R.P.:机器学习算法的实用贝叶斯优化(2012)·Zbl 1433.68379号
[20] Srinivas,N.、Krause,A.、Kakade,S.M.、Seeger,M.W.:高斯过程强盗无悔:实验设计方法。In:ICML会议记录(2010)
[21] Sui,Y.,Gotovos,A.,Burdick,J.,Krause,A.:高斯过程优化的安全探索。In:程序。ICML(2015)
[22] Takeuchi,I.,Le Quoc,V.,Sears,T.D.,Smola,A.J.:非参数分位数估计。JMLR(2006)·Zbl 1222.68316号
[23] Ulmasov,D.,Baroukh,C.B.,Deisenroth,M.P.,Misener,R.:具有维度调度的贝叶斯优化:在生物系统中的应用。In:程序。逃生(2016)
[24] Wang,Z.,Zoghi,M.,Hutter,F.,Matheson,D.,de Freitas,N.:通过随机嵌入实现高维贝叶斯优化。In:程序。IJCAI(2013)·Zbl 1358.90089号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。