×
塞塔雷·阿里亚法;乔姆·科尔-方;达纳·布鲁克斯;Dy，Jennifer（詹妮弗·戴）

ADMMBO：使用ADMM进行未知约束的贝叶斯优化。 （英语） Zbl 1441.62075号

J.马赫。学习。物件。 20，第123号文件，第26页（2019）.
摘要：科学和工程中存在许多涉及未知或部分未知目标函数优化的问题。最近，贝叶斯优化（Bayesian Optimization，BO）已成为解决优化问题的有力工具，这些优化问题的目标函数仅可用作黑盒，且评估成本高昂。然而，许多实际问题都涉及到受未知约束的未知目标函数的优化。这是一个重要但具有挑战性的问题，与优化未知函数不同，现有方法面临着一些限制。本文提出了一种新的约束贝叶斯优化框架，用于优化具有未知约束的未知目标函数。我们引入了一个等价的优化方法，即用约束扩充目标函数，为每个约束引入辅助变量，并强制新变量等于主变量。在交替方向乘法器算法（ADMM）的基础上，我们提出了ADMM-Baysian Optimization（ADMMBO）以迭代方式解决该问题。我们的框架导致了多个目标函数未知的无约束子问题，然后通过BO求解。我们的方法解决了最新技术的几个挑战：它可以从不可行点开始，对初始化不敏感，可以有效地处理“解耦问题”，并具有具体的停止准则。对一些具有挑战性的BO基准问题的大量实验表明，我们提出的方法在获得可行解和收敛到全局最优的速度以及最小化未知目标和约束函数的总评估次数方面优于最新方法。

引用于1文件

MSC公司：

2015年1月62日 贝叶斯推断
62天10分 缺少数据
90立方厘米 灵敏度、稳定性、参数优化
60克15 高斯过程

关键词：

贝叶斯优化（BO）;高斯过程;交替方向乘法器（ADMM）算法;预期改进

软件：

Hyperopt公司;凯拉斯;青蒿素;PESC公司;TensorFlow公司;MNIST公司
PDF格式BibTeX公司 XML格式引用
\textit{S.Ariafar}等人，J.Mach。学习。第20号决议，第123号论文，第26页（2019年；Zbl 1441.62075）
全文： 链接

参考文献：

[1] Mart´un n Abadi，Paul Barham，Jianmin Chen，Zhifeng Chen，Andy Davis，Jeffrey Dean，Matthieu Devin，Sanjay Ghemawat，Geoffrey Irving，Michael Isard，et al.Tensorflow:大型机器学习系统。InOSDI，第16卷，第265-283页，2016年。
[2] 贾瓦德·阿齐米（Javad Azimi）、阿里·贾拉利（Ali Jalali）和小李·芬（Xiaoli Fern）。混合批处理贝叶斯优化。arXiv预打印arXiv:1202.55972012。
[3] 皮埃尔·巴尔迪、彼得·萨多夫斯基和丹尼尔·怀特森。通过深度学习增强希格斯玻色子到τ+τ-搜索。物理审查信函，114（11）：1118012015。
[4] 詹姆斯·S·伯格斯特拉（James S Bergstra）、雷米·巴德内特（R’emi Bardenet）、约舒亚·本吉奥（Yoshua Bengio）和巴尔阿兹·凯格尔（Bal’azs K’egl）。超参数优化算法。神经信息处理系统进展，第2546-2554页，2011年。
[5] JM Bernardo、MJ Bayarri、JO Berger、AP Dawid、D Heckerman、AFM Smith和M West。未知约束下的优化。贝叶斯统计9，9:2292011。
[6] 莱昂博图。具有随机梯度下降的大规模机器学习。2010年COMPSTAT会议记录，第177-186页。施普林格，2010年·兹比尔1436.68293
[7] 斯蒂芬·博伊德（Stephen Boyd）、尼尔·帕里克（Neal Parikh）、埃里克·朱（Eric Chu）、博尔贾·佩莱托（Borja Peleato）和乔纳森·埃克斯坦（Jonathan Eckstein）。通过交替方向乘数法进行分布式优化和统计学习。机器学习基础与趋势，3（1）：1-1222011·Zbl 1229.90122号
[8] 埃里克·布罗丘、泰森·布罗丘和南多·德·弗雷塔斯。程序动画设计的贝叶斯交互式优化方法。2010年ACM SIGGRAPH/欧洲制图计算机动画研讨会论文集，第103-112页。欧洲制图协会，2010年a。
[9] Eric Brochu、Vlad M Cora和Nando De Freitas。关于昂贵成本函数的贝叶斯优化教程，应用于主动用户建模和分层强化学习。arXiv预印arXiv:1012.25992010b。
[10] Franöcois Chollet等人，2015年。
[11] 丹尼斯·D·考克斯和苏珊·约翰。全局优化的统计方法。InSystems，《人与控制论》，1992年，IEEE国际会议，第1241-1246页。IEEE，1992年。
[12] 丹尼尔·芬克尔。直接优化算法用户指南。北卡罗来纳州立大学科学计算研究中心，2003年2月。
[13] 雅各布·加德纳（Jacob R Gardner）、马特·库斯纳（Matt J Kusner）、徐志祥（Zhixiang Eddie Xu）、基利安·温伯格（Kilian Q Weinberger）和约翰·坎宁安（John P Cunningham）。带不等式约束的贝叶斯优化。InICML，第937-945页，2014年。
[14] Michael A Gelbart、Jasper Snoek和Ryan P Adams。带有未知约束的贝叶斯优化。arXiv预打印arXiv:1403.56072014。
[15] 迈克尔·亚当·格巴特。约束贝叶斯优化及其应用。博士论文，2015年。
[16] Robert B Gramacy、Genetha A Gray、S´ebastien Le Digabel、Herbert KH Lee、Pritam Ranjan、Garth Wells和Stefan M Wild。黑箱约束优化的增广拉格朗日模型。技术计量学，58（1）：1-112016。
[17] 何塞·米格尔·埃尔恩德斯·洛巴托（Jos´e Miguel Hern´andez-Lobato）、马修·霍夫曼（Matthew W Hoffman）和邹宾·加赫拉马尼（Zoubin Ghahramani）。预测熵搜索用于黑盒函数的有效全局优化。《神经信息处理系统进展》，第918-926页，2014年。
[18] Jos´e Miguel Hern´andez Lobato、Michael Gelbart、Matthew Hoffman、Ryan Adams和Zoubin Ghahramani。未知约束贝叶斯优化的预测熵搜索。机器学习国际会议，第1699-1707页，2015年。
[19] 何塞·米格尔·埃尔恩德斯·洛巴托（Josée Miguel Hern´andez-Lobato）、迈克尔·盖尔巴特（Michael A Gelbart）、瑞安·亚当斯（Ryan P Adams）、马修·霍夫曼（Matthew W Hoffman）和邹宾·加拉马尼（Zo。使用基于信息的搜索进行约束贝叶斯优化的通用框架。2016年·Zbl 1391.90641号
[20] 马修·霍夫曼（Matthew Hoffman）、博巴克·沙里亚里（Bobak Shahraria）和南多·弗雷塔斯（Nando Freitas）。基于模型的盗贼优化中的相关性和预算约束及其在自动机器学习中的应用。《人工智能与统计》，第365-374页，2014年。
[21] 洪明义和罗志泉。关于交替方向乘数法的线性收敛性。数学规划，162（1-2）：165-1992017·兹比尔1362.90313
[22] Mingyi Hong、Zhi Quan Luo和Meisam Razaviyayn。一类非凸问题交替方向乘子法的收敛性分析。SIAM优化杂志，26（1）：337-3642016·Zbl 1356.49061号
[23] Neil Houlsby、Ferenc Huszar、Zoubin Ghahramani和Jose M Hern´andez-Lobato。偏好学习的协作高斯过程。《神经信息处理系统进展》，第2096-2104页，2012年。
[24] Frank Hutter、Holger H Hoos和Kevin Leyton-Brown。基于序列模型的通用算法配置优化。在学习和智能优化国际会议上，第507-523页。施普林格，2011年。
[25] 唐纳德·琼斯。基于响应曲面的全局优化方法分类。全球优化杂志，21（4）：345-3832001·Zbl 1172.90492号
[26] 唐纳德·琼斯（Donald R Jones）、马蒂亚斯·肖诺（Matthias Schonlau）和威廉·J·韦尔奇（William J Welch）。高效全局优化昂贵的黑盒函数。全球优化杂志，13（4）：455-4921998·Zbl 0917.90270号
[27] 亚伦·克莱恩（Aaron Klein）、斯特凡·福克纳（Stefan Falkner）、西蒙·巴特尔斯（Simon Bartels）、菲利普·亨尼（Philipp Hennig）和弗兰克·赫特（Frank Hutter）。大型数据集上机器学习超参数的快速贝叶斯优化。arXiv预打印arXiv:1605.070792016·Zbl 1421.62027号
[28] 哈罗德·库什纳。一种在噪声存在下定位任意多峰值曲线最大点的新方法。基础工程杂志，86（1）：97-1061964。
[29] 延乐村。手写数字的mnist数据库。网址：http://yann。勒贡。com/exdb/mnist/，1998年。
[30] Yann LeCun、Yoshua Bengio和Geoffrey Hinton。深度学习自然，521（7553）：4362015。
[31] 丹尼尔·詹姆斯·利佐特。实用贝叶斯优化。阿尔伯塔大学，2008年。
[32] 鲁本·马丁内斯·康廷（Ruben Martinez-Cantin）、南多·德·弗雷塔斯（Nando de Freitas）、阿诺德·杜塞特（Arnaud Doucet）和何塞·阿卡斯特拉诺斯（Jose A Castellanos）。不确定性下机器人规划和探索的主动策略学习。《机器人学：科学与系统》，第3卷，第334-341页，2007年·Zbl 1331.68227号
[33] 托马斯·彼得·明卡。近似贝叶斯推理的一系列算法。麻省理工学院博士论文，2001年。
[34] J Moáckus博士。求极值的贝叶斯方法。优化技术IFIP技术会议，第400-404页。斯普林格，1975年·Zbl 0311.90042号
[35] Joao FC Mota、Joao MF Xavier、Pedro MQ Aguiar和Markus Puschel。D-admm：一种用于可分离优化的高效通信分布式算法。IEEE信号处理汇刊，61（10）：2718-27232013·Zbl 1393.94059号
[36] 豪尔赫·诺塞达尔（Jorge Nocedal）和斯蒂芬·赖特（Stephen J.Wright）。数值优化。施普林格，纽约，纽约，美国，第二版，2006年·Zbl 1104.65059号
[37] Neal Parikh、Stephen Boyd等，近似算法。基础与趋势漂流优化，1（3）：127-2392014。
[38] 维克托·皮奇尼。约束全局优化的逐步不确定性减少方法。《人工智能与统计》，第787-795页，2014年。
[39] 维克多·皮奇尼（Victor Picheny）、大卫·金斯堡（David Ginsbourger）、亚恩·里奇特（Yann Richet）和格雷戈里·卡普林（Gregory Caplin）。基于分位数的含噪计算机实验优化，精度可调。技术计量学，55（1）：2-132013。
[40] 维克托·皮奇尼（Victor Picheny）、罗伯特·B·格拉马奇（Robert B Gramacy）、斯特凡·怀尔德（Stefan Wild）和塞巴斯蒂安·勒·迪加贝尔（Sebastien Le Digabel）。带松弛变量增广拉格朗日混合约束的贝叶斯优化。《神经信息处理系统进展》，第1435-1443页，2016年。
[41] 卡尔·爱德华·拉斯穆森和克里斯托弗·基·威廉姆斯。机器学习的高斯过程，第1卷。麻省理工学院出版社，剑桥，2006年·Zbl 1177.68165号
[42] Matthias Schonlau、William J Welch和Donald R Jones。计算机模型约束优化中的全局搜索与局部搜索。课堂讲稿——专著系列，第11-25页，1998年。
[43] 史蒂文·斯科特。现代贝叶斯主义视角下的多武器强盗。商业和工业中的应用随机模型，26（6）：639-6582010。
[44] Bobak Shahraria、Kevin Swersky、Ziyu Wang、Ryan P Adams和Nando de Freitas。让人类脱离循环：贝叶斯优化综述。IEEE会议记录，104（1）：148-1752016。
[45] 贾斯珀·斯诺克。贝叶斯优化和半参数模型及其在辅助技术中的应用。博士论文，Citeser，2013年。
[46] 贾斯珀·斯诺克（Jasper Snoek）、雨果·拉罗谢尔（Hugo Larochelle）和瑞安·亚当斯（Ryan P Adams）。机器学习算法的实用贝叶斯优化。《神经信息处理系统进展》，第2951-2959页，2012年·Zbl 1433.68379号
[47] Kevin Swersky、Jasper Snoek和Ryan P Adams。多任务贝叶斯优化。神经信息处理系统进展，第2004-2012页，2013年。
[48] 罗伯特·提比拉尼（Robert Tibshirani）。通过套索回归收缩和选择。英国皇家统计学会杂志。B系列（方法学），第267-288页，1996年·Zbl 0850.62538号
[49] Aimo Torn和Antanas Zilinskas。全局优化。Springer-Verlag纽约公司，1989年·Zbl 0752.90075号
[50] 王瑜、尹沃涛、曾金山。非凸非光滑优化中admm的全局收敛性。《科学计算杂志》，第1-35页，2015年·Zbl 1462.65072号
[51] 吴健（Jian Wu）、马提亚斯·波罗切克（Matthias Poloczek）、安德鲁·威尔逊（Andrew G Wilson）和彼得·弗雷泽（Peter Frazier）。带梯度的贝叶斯优化。《神经信息处理系统进展》，第5273-5284页，2017年。
[52] 郑旭（Zheng Xu）、索汉·德（Soham De）、马里奥·菲格雷多（Mario Figueiredo）、克里斯托夫·斯图德（Christoph Studer）和汤姆·戈尔茨坦（Tom Goldstein）。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。