×
安托万·格罗斯尼特；亚历山大一世，科恩·里弗斯。；拉苏尔·图图诺夫；瑞恩·赖斯·格里菲斯；王军；海塔姆·布阿马尔

在贝叶斯优化中，我们是否忘记了成分优化？ （英语） Zbl 07415103号

J.马赫。学习。物件。 22，第160号论文，78页（2021）.
摘要：贝叶斯优化为全局优化提供了一种样本效率高的方法。在这个框架内，一个关键的性能确定子程序是获取函数的最大化，由于获取函数往往是非凸的，因此优化并不简单，这项任务变得复杂。在本文中，我们对获取功能最大化的方法进行了全面的实证研究。此外，通过为流行的采集函数推导新颖但在数学上等价的成分形式，我们将最大化任务重新定义为成分优化问题，使我们能够从该领域的大量文献中受益。我们强调了在3958个由合成优化任务和Bayesmark任务组成的单独实验中，组合方法在获取函数最大化方面的经验优势。鉴于获取函数最大化子例程的通用性，我们假设，采用组合优化程序有可能在贝叶斯优化目前应用的所有领域中产生性能改进。开源实现可在https://github.com/huawei-noah/noah-research/tree/CompBO/BO/HEBO/CompBO.

MSC公司：

68T05型 人工智能中的学习和自适应系统

关键词：

黑盒优化；贝叶斯优化；成分优化；采集功能；实证分析

软件：

超波段；青蒿素；BoTorch公司；TensorFlow公司；手套；GPy火炬；BOHB公司；SMAC公司；RMS公司；PyTorch公司；G流量；亚当；github；GPflowOpt（通用流程选项）；L-BFGS-B型；UCI-毫升；科学Py
PDF格式BibTeX公司 XML格式引用
\textit{A.Grosnit}等人，J.Mach。学习。第22号决议，第160号论文，78页（2021；Zbl 07415103）
全文： arXiv公司 链接

参考文献：

[1] Mohammed Amin Abdullah、Hang Ren、Haitham Bou Ammar、Vladimir Milenkovic、Rui Luo、Mingtian Zhang和Jun Wang。Wasserstein稳健强化学习。arXiv预印本arXiv:1907.131962019。
[2] Shun-ichi Amari。结构参数空间中的神经学习-自然黎曼梯度。神经信息处理系统进展，第127-133页，1997年。
[3] 自然梯度对学习有效。神经计算，10（2）：251-2761998。
[4] 阿玛里顺一。统计学中的微分几何方法。统计学课堂讲稿。纽约施普林格出版社，2012年。国际标准图书编号9781461250562。统一资源定位地址https://books.google.co.uk网站/书？id=XiDnBwAAQBAJ·兹伯利0559.62001
[5] Amari顺义和长冈广志。信息几何方法。数学专著的翻译。美国数学学会，2007年。国际标准图书编号9780821843024。统一资源定位地址https://books.google.co.uk/books？id=vc2FWSo7wLUC。 ·Zbl 1146.62001号
[6] 阿努普·阿普雷姆和斯蒂芬·罗伯茨。使用强盗反馈计算潜在博弈的纳什均衡的贝叶斯优化方法。《计算机杂志》，2018年。
[7] Kaito Ariu、Narae Ryu、Se-Young Yun和Alexandre Prouti'ere。对在线推荐系统感到遗憾。神经信息处理系统进展，332020。
[8] 劳尔·阿斯图迪略和彼得·弗雷泽。复合函数的贝叶斯优化。2019年国际机器学习会议，第354-363页。
[9] 阿杰马尔·阿齐兹（Ajmal Aziz）、爱德华·埃尔森·科萨西（Edward Elson Kosasih）、瑞安·希斯·格里菲斯（Ryan-Rhys Griffiths）和亚历山德拉·布林特鲁普（Alexandra Brintrup）。供应链网络图表示学习中的数据考虑，2021年。
[10] 马可·贝奥莱蒂（Marco Baioletti）、加布里埃尔·迪巴里（Gabriele Di Bari）、阿尔弗雷多·米拉尼（Alfredo Milani）和瓦伦蒂娜·波吉奥尼（Valentina Poggioni）。神经网络优化的差分进化。数学，8（1）：692020·Zbl 1496.68383号
[11] 马克西米利安·巴兰达（Maximilian Balandat）、布莱恩·卡勒（Brian Karrer）、丹尼尔·江（Daniel Jiang）、塞缪尔·道尔顿（Samuel Daulton）、本·莱瑟姆（Ben Letham）、安德鲁·戈登·威尔逊（Andrew Gordon。Botorch：高效Monte-Carlo Bayesian优化的框架。《神经信息处理系统进展》，332020年。
[12] 彼得·本特利。计算机进化设计。Morgan Kaufmann，1999年·Zbl 1012.68660号
[13] 詹姆斯·伯格斯特拉（James Bergstra）和约舒亚·本吉奥（Yoshua Bengio）。超参数优化的随机搜索。机器学习研究杂志，13（1）：281-3052012·Zbl 1283.68282号
[14] 朱利安。布兰克和卡利安莫伊。债务。Pymoo：python中的多目标优化。IEEE接入，8:89497-895092020。
[15] L´eon Bottou和Olivier Bousquet。大规模学习的权衡。神经信息处理系统进展，20:161-1682007。
[16] L´eon Bottou、Frank E Curtis和Jorge Nocedal。大规模机器学习的优化方法。《暹罗评论》，60（2）：223-3112018·Zbl 1397.65085号
[17] Anthony Bourached、Ryan-Rhys Griffiths、Robert Gray、Ashwani Jha和Parashkev Nachev。生成模型增强的人体运动预测。arXiv预印本arXiv：2010.116992020。
[18] 斯蒂芬·博伊德和利文·范登伯格。凸优化。剑桥大学出版社，2004年·Zbl 1058.90049号
[19] 盖·布雷斯勒（Guy Bresler）、德瓦夫拉特·沙阿（Devavrat Shah）和路易斯·菲利佩·沃洛赫（Luis Filipe Voloch）。低遗憾的协作过滤。2016年ACM SIGMETRICS国际计算机科学测量和建模会议记录，第207-220页，2016年。
[20] 理查德·伯德（Richard H Byrd）、吕培煌（Peihuang Lu）、豪尔赫·诺塞达尔（Jorge Nocedal）和朱慈友（Ciyou Zhu）。用于边界约束优化的有限内存算法。SIAM科学计算杂志，16（5）：1190-12081995·Zbl 0836.65080号
[21] 理查德·伯德（Richard H Byrd）、萨曼莎·汉森（Samantha L Hansen）、豪尔赫·诺塞达尔（Jorge Nocedal）和约拉姆·辛格（Yoram Singer）。一种用于大规模优化的随机拟牛顿方法。SIAM优化杂志，26（2）：1008-10312016·Zbl 1382.65166号
[22] 罗伯托·卡兰德拉。机器人优化和控制的贝叶斯建模。达姆施塔特理工大学博士论文，2017年。
[23] 西仁曹。随机实验中参数敏感性估计的收敛性。IEEE自动控制汇刊，30（9）：845-8531985·Zbl 0574.62081号
[24] 魏晨、王亚军和杨元。组合多武器强盗：一般框架和应用。2013年国际机器学习会议，第151-159页。
[25] 程炳清、Ryan-Rhys Griffiths、Simon Wengert、Christian Kunkel、Tamas Stenczel、Bonan Zhu、Volker L Deringer、Noam Bernstein、Johannes T Margraf、Karsten Reuter等，绘制材料和分子。《化学研究报告》，53（9）：1981年至1991年，2020年。
[26] Cl´ement Chevalier和David Ginsbourger。快速计算多点预期改进，并应用于批量选择。在学习和智能优化国际会议上，第59-69页。施普林格，2013年。
[27] 埃米尔·孔塔尔（Emile Contal）、大卫·布冯尼（David Buffoni）、亚历山大·罗比奎特（Alexandre Robicquet）和尼古拉斯·瓦亚蒂斯（Nicolas Vayatis）。具有置信上限和纯探索的并行高斯过程优化。欧洲联合数据库机器学习和知识发现会议，第225-240页。施普林格，2013年。
[28] 阿尔贝托·科斯塔、贾科莫·纳尼西尼、托马斯·施罗普费尔和托马斯·沃特曼。建筑设计中照明模拟的黑盒优化。InComplex Systems Design&Management Asia，第27-39页。斯普林格，2015年。
[29] 亚历山大·科文·里弗斯（Alexander I Cowen-Rivers）、卢文龙（Wenlong Lyu）、拉苏尔·图图诺夫（Rasul Tutunov）、王志（Zhi Wang）、安托万·格罗斯尼特（Antoine Grosnit）、瑞安·里斯·格里菲斯（Ryan Rhys Griffiths）、郝建。贝叶斯优化假设的实证研究。arXiv预印本arXiv：2012.038262020a。
[30] 亚历山大·科文·里弗斯（Alexander I Cowen-Rivers）、丹尼尔·帕勒尼克（Daniel Palenick）、文森特·莫恩斯（Vincent Moens）、穆罕默德·阿卜杜拉（Mohammed Abdullah）、艾瓦·索特拉（Aivar Sootla）、王军（Ju。Samba：基于安全模型和主动强化学习。arXiv预印本arXiv：2006.09436，2020b。
[31] 约翰·坎宁安（John P Cunningham）、菲利普·亨尼（Philipp Hennig）和西蒙·拉科斯特·朱利安（Simon Lacoste-Julien）。高斯概率和期望传播。arXiv预印本arXiv:11168322011。
[32] 埃里克·达克斯伯格（Erik Daxberger）、阿纳斯塔西亚·马卡罗娃（Anastasia Makarova）、马特奥·图切塔（Matteo Turchetta）和安德烈亚斯·克劳斯（Andreas Krause）。混合变量贝叶斯优化。《第二十届国际人工智能联合会议论文集》，IJCAI-20，第2633-2639页，2020年7月。
[33] 亚历山大·德·马修斯（Alexander G De G.Matthews）、马克·范·德威尔克（Mark Van Der Wilk）、汤姆·尼克森（Tom Nickson）、藤井敬介（Keisuke Fujii）、亚历克西斯·布库瓦拉斯（Alexis Boukouvalas）、巴勃罗·莱昂·维拉格拉（Pablo Le´on Villagr。Gpflow：使用TensorFlow的高斯过程库。机器学习研究杂志，18（1）：1299-1304，2017·兹比尔1437.62127
[34] Kalyanmoy Deb、Amrit Pratap、Sameer Agarwal和TAMT Meyarivan。一种快速的精英多目标遗传算法：NSGA-II。IEEE进化计算汇刊，6（2）：182-1972002。
[35] Dheeru Dua和Casey Graff。UCI机器学习库，2017年。网址：http://archive.ics.uci.edu/ml。
[36] 约翰·杜奇（John Duchi）、伊拉德·哈赞（Elad Hazan）和约拉姆·辛格（Yoram Singer）。在线学习和随机优化的自适应次梯度方法。机器学习研究杂志，12（61）：2121-21592011·Zbl 1280.68164号
[37] 斯特凡·福克纳（Stefan Falkner）、亚伦·克莱恩（Aaron Klein）和弗兰克·赫特（Frank Hutter）。BOHB：规模上稳健高效的超参数优化。2018年国际机器学习会议，第1437-1446页。
[38] 彼得·弗雷泽。贝叶斯优化教程。arXiv预印本arXiv:1807.028112018。
[39] 维克托·加比隆（Victor Gabillon）、拉苏尔·图图诺夫（Rasul Tutunov）、米查尔·瓦尔科（Michal Valko）和海塔姆·布阿马尔（Haitham Bou-Ammar）。无导数和有序稳健优化。《第二十三届国际人工智能与统计会议论文集》，第108卷，第2293-2303页。PMLR，2020年。
[40] 雅各布·加德纳（Jacob R Gardner）、杰夫·普莱斯（Geoff Pleiss）、大卫·宾德尔（David Bindel）、基利安·温伯格（Kilian Q Weinberger）和安德鲁·戈登·威尔逊。Gpytorch：带有GPU加速的黑盒矩阵-矩阵高斯过程推理。神经信息处理系统研究进展，2018年。
[41] 爱德华多·C·加里多·默根（Eduardo C Garrido-Merch´an）和丹尼尔·埃尔恩安德斯·洛巴托（Daniel Hern´andez-Lobato）。用高斯过程处理贝叶斯优化中的范畴变量和整值变量。神经计算，380:20-352020。
[42] 阿兰·根兹（Alan Genz）。多元正态概率的数值计算。计算和图形统计杂志，1（2）：141-1491992。
[43] 艾伦·根兹。矩形二元和三元正态概率和t概率的数值计算。统计与计算，14（3）：251-2602004。
[44] 赛义德·加迪米（Saeed Ghadimi）、安德烈·鲁兹琴斯基（Andrzej Ruszczynski）和王梦迪（Mengdi Wang）。嵌套随机优化的单时间尺度随机近似方法。SIAM优化杂志，30（1）：960-9792020·Zbl 1441.90106号
[45] David Ginsbourger、Rodolphe Le Riche和Laurent Carraro。基于高斯过程的确定性并行全局优化的多点准则。技术报告，2008年3月。统一资源定位地址https://hal.archives-ouvertes.fr/hal-00260579。
[46] 保罗·格拉斯曼。蒙特卡罗优化中的性能连续性和可微性。1988年冬季模拟会议记录，第518-524页。IEEE，1988年。
[47] 拉斐尔·戈梅兹·邦巴雷利、詹妮弗·恩·韦、大卫·杜维诺、何塞·米格尔·埃尔恩德斯·洛巴托、本杰姆·恩·桑切林、丹尼斯·谢伯拉、豪尔赫·阿奎莱拉·伊帕拉奎尔、蒂莫西·德赫泽尔、瑞安·亚当斯和阿尔安·阿斯普鲁·古西克。使用数据驱动的分子连续表示的自动化学设计。ACS中央科学，4（2）：268-2762018。
[48] 阿隆·戈南和谢·沙列夫·施瓦茨。严格鞍问题经验风险最小化的快速率。学习理论会议，第1043-1063页，2017年。
[49] 哈维尔·冈萨雷斯、迈克尔·奥斯本和尼尔·劳伦斯。眼镜：缓解贝叶斯优化的近视。《人工智能与统计》，第790-799页。PMLR，2016年。
[50] Ryan-Rhys Griffiths和Jos´e Miguel Hern´andez-Lobato。使用变分自动编码器进行自动化学设计的约束贝叶斯优化。化学科学，11（2）：577-5862020。
[51] Ryan-Rhys Griffiths、Miguel Garcia-Ortegon、Alexander A Aldrick和Alpha A Lee。通过异方差贝叶斯优化实现对任意不确定性的鲁棒性。arXiv预印本arXiv:1910.077792019。
[52] Ryan-Rhys Griffiths、Jiachen Jiang、Douglas J.K.Buisson、Dan Wilkins、Luigi C.Gallo、Adam Ingram、Alpha A.Lee、Dirk Grupe、Erin Kara、Michael L.Parker、William Alston、Anthony Bourached、George Cann、Andrew Young和S.Komossa。使用高斯过程对Mrk 335的多波长可变性进行建模。天体物理学杂志，914（2）：1442021年6月。doi:10.3847/1538-4357/abfa9f。URLhttps://doi.org/10.3847/1538-4357/abfa9f。
[53] Jean-Bastien Grill、Michal Valko和R´emi Munos。平滑度未知的带噪函数的黑盒优化。第28届神经信息处理系统国际会议论文集——第1卷，第667-675页，2015年。
[54] Antoine Grosnit、Rasul Tutunov、Alexandre Max Maraval、Ryan Rhys Griffiths、Alexander I Cowen Rivers、Lin Yang、Lin Zhu、Wenlong Lyu、Zhitang Chen、Jun Wang等。具有变分自动编码器和深度度量学习的高维贝叶斯优化。arXiv预印本arXiv:2106.036092021。
[55] Nadav Hallak、Panayotis Mertikopoulos和Volkan Cevher。通过近似粒度方法实现随机非凸学习中的后悔最小化。arXiv预印本arXiv:2010.062502020。
[56] 尼古拉·汉森。CMA进化策略：A tutorial.arXiv预印本arXiv:1604.007722016。
[57] 尼古拉·汉森和安德烈亚斯·奥斯特梅尔。自适应进化策略中的任意正态变异分布：协方差矩阵自适应。IEEE进化计算国际会议论文集，312-317页。IEEE，1996年。
[58] 埃拉·哈赞。在线凸优化简介。已找到。最佳趋势。，2(3-4): 157-325, 2016.
[59] 菲利普·亨尼（Philipp Hennig）和克里斯蒂安·舒勒（Christian J Schuler）。熵搜索用于信息高效的全局优化。机器学习研究杂志，13（1）：1809-18372012·兹比尔1432.65073
[60] 詹姆斯·亨斯曼（James Hensman）、尼科尔·福西（Nicol'o Fusi）和尼尔·劳伦斯（Neil D Lawrence）。大数据的高斯过程。《第二十届人工智能不确定性会议论文集》，第282-290页，2013年。
[61] 何塞·米格尔·埃尔恩德斯·洛巴托（Josée Miguel Hern´andez-Lobato）、詹姆斯·雷奎玛（James Requeima）、爱德华·奥皮泽·克纳普（Edward O Pyzer-Knapp）和阿尔安·阿斯普鲁·古兹克。大规模加速化学空间探索的并行和分布式汤普森采样。2017年国际机器学习会议，第1470-1479页。
[62] 杰弗里·辛顿（Geoffrey Hinton）、尼蒂什·斯利瓦斯塔瓦（Nitish Srivastava）和凯文·斯沃斯基（Kevin Swersky）。机器学习的神经网络第六讲微差梯度下降概述。课程：机器学习的神经网络，2012年。
[63] Frank Hutter、Holger H Hoos和Kevin Leyton-Brown。基于序列模型的通用算法配置优化。在学习和智能优化国际会议上，第507-523页。施普林格，2011年a。
[64] Frank Hutter、Holger H.Hoos和Kevin Leyton-Brown。基于序列模型的通用算法配置优化。《第五届学习与智能优化国际会议论文集》，2005年，第507-523页，柏林，海德堡，2011b。斯普林格·弗拉格。国际标准图书编号9783642255656。doi:10.1007/978-3642-25566-340。统一资源定位地址https://doi.org/10.1007/978-3642-25566-3_40。
[65] 克里斯蒂安·伊格尔（Christian Igel）、托尔斯滕·萨托普（Thorsten Suttorp）和尼古拉·汉森（Nikolaus Hansen）。计算效率高的协方差矩阵更新和进化策略的（1+1）-CMA。《第八届遗传与进化计算年会论文集》，第453-460页，2006年。
[66] Momin Jamil和Xin She Yang。全局优化问题基准函数的文献综述。国际数学建模与数值优化杂志，4（2）：150-1942013·Zbl 1280.65053号
[67] Eric Jang、Shixiang Gu和Ben Poole。使用Gumbelsoftmax进行分类重新参数化。2017年国际学习代表大会。
[68] 格雷厄姆·A·贾斯特雷布斯基（Grahame A Jastrebski）和德克·阿诺德（Dirk V Arnold）。通过主动协方差矩阵自适应改进进化策略。2006年IEEE进化计算国际会议，第2814-2821页。IEEE，2006年。
[69] 唐纳德·琼斯（Donald R Jones）、马蒂亚斯·肖诺（Matthias Schonlau）和威廉·J·韦尔奇（William J Welch）。高效全局优化昂贵的黑盒函数。《全局优化杂志》，13（4）：455-4921998·Zbl 0917.90270号
[70] Kirthevasan Kandasamy、Akshay Krishnamurthy、Jeff Schneider和Barnab´as P´oczos。通过汤普森抽样进行并行贝叶斯优化。2018年国际人工智能与统计会议，第133-142页。
[71] C.T.凯利。优化的迭代方法。应用数学前沿。工业和应用数学学会，1999年。国际标准图书编号9780898714333。URLhttps://books.google.co.uk/books？id=Bq6VcmzOe1IC·Zbl 0934.90082号
[72] Prannay Khosla、Piotr Teterwak、Chen Wang、Aaron Sarna、Yonglong Tian、Phillip Isola、Aaron-Maschinot、Ce Liu和Dilip Krishnan。监督对比学习，2020年。
[73] Hyunjik Kim、Andriy Mnih、Jonathan Schwarz、Marta Garnelo、Ali Eslami、Dan Rosenbaum、Oriol Vinyals和Yee Whye Teh。专注的神经过程。2018年国际学习代表大会。
[74] Diederik P.Kingma和Jimmy Ba.Adam：一种随机优化方法。Yoshua Bengio和Yann LeCun，2015年5月7日至9日在美国加利福尼亚州圣地亚哥举行的第三届国际学习代表大会编辑，2015年会议记录。
[75] Diederik P.Kingma和Max Welling。自动编码变分贝叶斯。Yoshua Bengio和Yann LeCun，《2014年第二届国际学习代表大会》编辑，2014年4月14日至16日，加拿大AB Banff，2014年，《会议跟踪记录》·Zbl 1431.68002号
[76] 尼古拉斯·克努德（Nicolas Knudde）、约阿希姆·范德赫滕（Joachim van der Herten）、汤姆·达内（Tom Dhane）和伊沃·库库特（Ivo Couckuyt）。Gpflowopt:使用TensorFlow的贝叶斯优化库，2017年。
[77] 克塞尼娅·科洛维纳（Ksenia Korovina）、徐赛伦（Sailun Xu）、柯蒂瓦桑·坎达萨米（Kirthevasan Kandasamy）、威利·内斯旺格（Willie Neiswanger）、巴纳巴斯·波佐斯（Barnabas Poczos）、杰夫·施奈德（Jeff Schneider）和埃里克·星（Eric Xing）。Chembo：小有机分子的贝叶斯优化和可合成建议。在国际人工智能和统计会议上，第3393-3403页。PMLR，2020年。
[78] 哈罗德·库什纳。噪声存在下任意多峰曲线极值点定位的新方法。基础工程杂志，86（1）：97-1061964年3月。
[79] 曼努埃尔·拉古纳和拉斐尔·马蒂。用于多模态函数全局优化的高级散射搜索设计的实验测试。《全球优化杂志》，33:235-2552005年10月。doi:10.1007/s10898-004-1936-z·邮编1093.90092
[80] Tor Lattimore和Csaba Szepesv´ari.Bandit算法。剑桥大学出版社，2020年·Zbl 1439.68002号
[81] Lisha Li、Kevin Jamieson、Giulia DeSalvo、Afshin Rostamizadeh和Amee Talwalkar。超波段：一种基于盗贼的新型超参数优化方法。机器学习研究杂志，18（1）：6765-68162017·Zbl 1468.68204号
[82] 伊利亚·洛希洛夫和弗兰克·赫特。解耦权重衰减正则化。2019年国际学习代表大会。
[83] Chris J Maddison、Andriy Mnih和Yee Whye Teh。具体分布：离散随机变量的连续松弛。2017年国际学习代表大会。
[84] Prasant Kumar Mahapatra、Susmita Ganguli和Amod Kumar。一种用于图像增强的混合粒子群优化和人工免疫系统算法。软计算，19（8）：2101-21092015。
[85] Mitchell McIntire、Daniel Ratner和Stefano Ermon。贝叶斯优化的稀疏高斯过程。《第三十二届人工智能不确定性会议论文集》，第517-526页，2016年。
[86] 托马斯·明卡。近似贝叶斯推理的期望传播。《第十七届人工智能不确定性会议记录》，第362-369页，2001a。
[87] 托马斯·明卡。近似贝叶斯推理的一系列算法。麻省理工学院博士论文，2001b。
[88] 乔纳斯·莫库斯。关于寻找极值的贝叶斯方法。优化技术IFIP技术会议，第400-404页。斯普林格，1975年·Zbl 0311.90042号
[89] 雅利安·莫赫塔里和亚历杭德罗·里贝罗。RES：正则化随机BFGS算法。IEEE信号处理汇刊，62（23）：6089-61042014·Zbl 1394.94405号
[90] 雅利安·莫赫塔里和亚历杭德罗·里贝罗。在线有限内存BFGS的全局收敛性。机器学习研究杂志，16（1）：3151-3181，2015·Zbl 1351.90124号
[91] 亨利·莫斯、大卫·莱斯利、丹尼尔·贝克、哈维尔·冈萨雷斯和保罗·雷森。Boss：字符串空间上的贝叶斯优化。神经信息处理系统进展，33，2020a。
[92] 亨利·莫斯（Henry B Moss）和瑞安·雷斯·格里菲斯（Ryan-Rhys Griffiths）。使用flowmo.arXiv预印本arXiv:2010.011182020进行高斯过程分子性质预测。
[93] 亨利·莫斯（Henry B Moss）、瓦萨尔·阿加瓦尔（Vatsal Aggarwal）、尼桑特·普拉蒂克（Nishant Prateek）、哈维尔·冈萨雷斯（Javier Gonz’alez）和罗伯特·巴拉·奇科特（Roberto Barra Chicote）。Boffin tts：通过贝叶斯优化实现的少镜头说话人自适应。InICASSP 2020-2020 IEEE声学、语音和信号处理国际会议（ICASSP），第7639-7643页。IEEE，2020b。
[94] Manfred Opper、Ole Winther等，从朴素平均场理论到抽头方程。《高级平均场方法：理论与实践》，第7-202001页·Zbl 1022.68606号
[95] 迈克尔·奥斯本（Michael A Osborne）、罗曼·加内特（Roman Garnett）和斯蒂芬·罗伯茨（Stephen J Roberts）。全局优化的高斯过程。第三届学习与智能优化国际会议（LION3），第1-15页，2009年。
[96] 艺术B欧文。准蒙特卡罗采样。蒙特卡洛射线追踪：Siggraph 2003课程44，第69-88页，2003。
[97] Razvan Pascanu和Yoshua Bengio。重新审视深层网络的自然梯度。在2014年国际学习代表大会上。
[98] Adam Paszke、Sam Gross、Francisco Massa、Adam Lerer、James Bradbury、Gregory Chanan、Trevor Killeen、Zeming Lin、Natalia Gimelshein、Luca Antiga、Alban Desmaison、Andreas Kopf、Edward Yang、Zachary DeVito、Martin Raison、Alykhan Tejani、Sasank Chilamkurthy、Benoit Steiner、Lu Fang、Junjie Bai和Soumith Chintala。Pytorch：一个命令式、高性能的深度学习库。H.Wallach、H.Larochelle、A.Beygelzimer、F.d'Alch´e-Buc、e.Fox和R.Garnett，编辑，《神经信息处理系统进展》32，第8024-8035页。Curran Associates，Inc.，2019年。
[99] Bo Peng和Lei Li。无线传感器网络中基于遗传算法的改进定位算法。认知神经动力学，9（2）：249-2562015。
[100] 杰弗里·彭宁顿（Jeffrey Pennington）、理查德·索彻（Richard Socher）和克里斯托弗·曼宁（Christopher Manning）。GloVe：用于单词表示的全局向量。《2014年自然语言处理实证方法会议论文集》，第1532-1543页，卡塔尔多哈，2014年10月。计算语言学协会。doi:10.3115/v1/D14-1162。URLhttps://www.aclweb.org/antology/D14-1162。
[101] 尼古拉斯·普洛斯卡斯（Nikolaos Ploskas）、克里斯托弗·劳夫曼（Christopher Laughman）、阿文德·拉古纳森（Arvind U Raghunathan）和尼古拉斯·萨希尼迪斯（Nikolas V Sahinidis）。使用无导数优化优化换热器的电路布置。化学工程研究与设计，131:16-282018。
[102] 肯尼斯·普莱斯（Kenneth V Price）。差分进化：一个快速简单的数值优化器。《北美模糊信息处理学报》，第524-527页。IEEE，1996年。
[103] 卡尔·爱德华·拉斯穆森和克里斯托弗·基·威廉姆斯。机器学习的高斯过程，第2卷。麻省理工学院出版社，马萨诸塞州剑桥，2006年·Zbl 1177.68165号
[104] 丹尼尔·希梅内斯·雷泽德（Danilo Jimenez Rezende）、夏基尔·穆罕默德（Shakir Mohamed）和达安·维斯特拉（Daan Wierstra）。深度生成模型中的随机反向传播和近似推理。第31届国际机器学习会议论文集——第32卷，第II-1278页，2014年。
[105] 库尔特·里德尔。秩增广矩阵的Sherman-Morrison-Woodbury恒等式及其应用。IAM矩阵分析与应用杂志，13（2）：659-6621992·Zbl 0748.15014号
[106] 马丁·里德米勒和海因里希·布劳恩。一种快速反向传播学习的直接自适应方法：Rprop算法。1993年IEEE神经网络国际会议。
[107] 赫伯特·罗宾斯和萨顿·蒙罗。一种随机近似方法。《数理统计年鉴》，22（3）：400-4071951·Zbl 0054.05901号
[108] Binxin Ru、Ahsan S Alvi、Vu Nguyen、Michael A Osborne和Stephen J Roberts。多个连续分类输入的贝叶斯优化。arXiv预打印arXiv:1906.088782019。
[109] 马克·施密特（Mark Schmidt）、尼古拉斯·勒鲁（Nicolas Le Roux）和弗朗西斯·巴赫（Francis Bach）。用随机平均梯度最小化有限和。数学规划，162（1-2）：83-1122017·Zbl 1358.90073号
[110] Robin M Schmidt、Frank Schneider和Philipp Hennig。穿过拥挤的山谷——标杆式深度学习优化器。arXiv预打印arXiv:2007.015472020。
[111] G¨unther Schrack和Mark Choit。优化的相对步长随机搜索。数学规划，10（1）：230-2441976·Zbl 0363.90064号
[112] 马舒默和肯尼斯·斯蒂格利茨。自适应步长随机搜索。IEEE自动控制汇刊，13（3）：270-2761968。
[113] Shweta B Shah和Nikolaos V Sahinidis。SAS-Pro：蛋白质结构比对的同时残基分配和结构叠加。公共科学图书馆，7（5）：e374932012。
[114] Bobak Shahraria、Kevin Swersky、Ziyu Wang、Ryan P Adams和Nando de Freitas。让人类脱离循环：贝叶斯优化综述。IEEE会议记录，1（104）：148-1752016。
[115] Shai Shalev-Shwartz和Yoram Singer。在线学习：理论、算法和应用。2007
[116] 大卫·F·沙诺。函数最小化的拟牛顿方法的条件。计算数学，24（111）：647-6561970·Zbl 0225.65073号
[117] 贾斯珀·斯诺克（Jasper Snoek）、雨果·拉罗谢尔（Hugo Larochelle）和瑞安·亚当斯（Ryan P Adams）。机器学习算法的实用贝叶斯优化。《神经信息处理系统进展》，第2951-2959页，2012年。
[118] 贾斯珀·斯诺克（Jasper Snoek）、奥伦·里佩尔（Oren Rippel）、凯文·斯沃斯基（Kevin Swersky。使用深度神经网络的可伸缩贝叶斯优化。在机器学习国际会议上，第2171-2180页。PMLR，2015年a。
[119] 贾斯珀·斯诺克（Jasper Snoek）、奥伦·里佩尔（Oren Rippel）、凯文·斯沃斯基（Kevin Swersky。使用深度神经网络的可伸缩贝叶斯优化。弗朗西斯·巴赫（Francis Bach）和大卫·布莱（David Bley）主编，《第32届国际机器学习会议论文集》，机器学习研究进展第37卷，第2171-2180页，法国里尔，2015年7月7日至9日b。PMLR公司。统一资源定位地址http://proceedings.mlr.press/v37/snoek15.html。
[120] A.Song、Q.Hu、X.Ding、X.Di和Z.Song。使用ie-cnn模型进行相似人脸识别。IEEE接入，8:45244-452532020。doi:10.1109/ACCESS.2020.2978938。
[121] 宋嘉林、陈玉新、岳一松。高斯过程多保真度贝叶斯优化的一般框架。第22届国际人工智能与统计会议，第3158-3167页。PMLR，2019年。
[122] 德米特里五世·斯佩兰斯基。用于数字设备诊断的蚁群优化算法。自动控制与计算机科学，49（2）：82-872015。
[123] 约斯特·托比亚斯·斯普林伯格（Jost Tobias Springenberg）、亚伦·克莱恩（Aaron Klein）、斯特凡·福克纳（Stefan Falkner）和弗兰克·赫特（Frank Hutter）。稳健贝叶斯神经网络的贝叶斯优化。《神经信息处理系统进展》，第4134-41422016页。
[124] 尼兰扬·斯里尼瓦斯（Niranjan Srinivas）、安德烈亚斯·克劳斯（Andreas Krause）、沙姆·卡卡德（Sham Kakade）和马蒂亚斯·西格（Matthias Seeger）。土匪背景下的高斯过程优化：无遗憾和实验设计。第27届机器学习国际会议论文集，第1015-1022页，2010年。
[125] 迈克尔·L·斯坦。空间数据插值：克里金的一些理论。施普林格科学与商业媒体，2012年。
[126] David G.Stork、Anthony Bourached、George H.Cann和Ryan-Rhys Griffiths。2021年，通过符号和属性对绘画中的重要角色进行计算识别。
[127] 孙世良、曹泽辉、韩朱、赵靖。从机器学习的角度综述优化方法。IEEE控制论汇刊，50（8）：3668-36812019。
[128] Aditya R Thawani、Ryan Rhys Griffiths、Arian Jamasb、Anthony Bourached、Penelope Jones、William McCorkindale、Alexander A Aldrick和Alpha A Lee。光开关数据集：合成化学进展的分子机器学习基准。arXiv预印本arXiv:2008.032262020。
[129] 威廉·汤普森（William R Thompson）。考虑到两个样本的证据，一个未知概率超过另一个的可能性。《生物特征》，25（3/4）：285-2941933年·JFM 59.1159.03号文件
[130] T.Tieleman和G.Hinton。第6.5讲-RMSprop：将梯度除以最近量级的运行平均值。课程：机器学习的神经网络，2012年。
[131] 米查利斯·提提亚斯（Michalis Titsias）。稀疏高斯过程中诱导变量的变分学习。《人工智能与统计》，第567-574页，2009年。
[132] 瑞恩·特纳（Ryan Turner）、大卫·埃里克森（David Eriksson）、迈克尔·麦考特（Michael McCourt）、朱哈·基利（Juha Kiili）、埃罗·拉克森（Eero Laaksonen）、郑旭（Zhen Xu）和伊莎贝尔·盖恩（Isabelle Guyo。贝叶斯优化在机器学习超参数调整方面优于随机搜索：2020年黑盒优化挑战分析。arXiv预印本arXiv:2104.10201，2021。
[133] Rasul Tutunov、Haitham Bou Ammar和Ali Jadbabaie。分布式SDDM求解器：理论与应用。arXiv预印本arXiv:1508.040962015。
[134] 拉苏尔·图图诺夫（Rasul Tutunov）、海塔姆·鲍阿马尔（Haitham Bou-Ammar）和阿里·贾巴比（Ali Jadbabaie）。大规模一致优化的分布式牛顿法。IEEE自动控制汇刊，64（10）：3983-39942019年·Zbl 1482.90159号
[135] Rasul Tutunov、Minne Li、Jun Wang和Haitham Bou-Ammar。合成ADAM：一种自适应合成解算器。arXiv预打印arXiv:2002.037552020。
[136] Michal Valko、Alexandra Carpentier和R´emi Munos。随机同步乐观优化。2013年国际机器学习会议，第19-27页。
[137] Sander van Rijn、Hao Wang、Matthijs van Leeuwen和Thomas B–ack。进化策略的结构进化。2016年IEEE计算智能系列研讨会（SSCI），第1-8页。IEEE，2016年。
[138] 保罗·维亚皮亚尼和克雷格·布蒂利尔。会话推荐系统中基于遗憾的最优推荐集。2009年第三届ACM推荐系统会议记录，第101-108页。
[139] Pauli Virtanen、Ralf Gommers、Travis E Oliphant、Matt Haberland、Tyler Reddy、David Cournapeau、Evgeni Burovski、Pearu Peterson、Warren Weckesser、Jonathan Bright等。Scipy 1.0：python中科学计算的基本算法。自然方法，17（3）：261-2722020。
[140] 王佳磊、斯科特·克拉克、埃里克·刘和彼得·弗雷泽。昂贵函数的并行贝叶斯全局优化。《运筹学》，2020年·Zbl 1457.90118号
[141] 王梦迪和刘季军。使用马尔可夫样本的随机成分梯度方法。2016年冬季模拟大会（WSC），第702-713页。IEEE，2016年。
[142] 王梦迪（Mengdi Wang）、方伊森（Ethan X Fang）和刘汉（Han Liu）。随机合成梯度下降：最小化期望值函数合成的算法。数学规划，161（1-2）：419-4492017a·Zbl 1356.90099号
[143] 王梦迪（Mengdi Wang）、刘季（Ji Liu）和方伊森（Ethan X Fang）。加速随机成分优化。机器学习研究杂志，18（1）：3721-37432017b·Zbl 1441.62217号
[144] Zi Wang和Stefanie Jegelka。高效贝叶斯优化的最大值熵搜索。在2017年国际机器学习会议上，第3627-3635页。
[145] 科林·怀特、威利·内斯旺格和亚什·萨瓦尼。BANANAS：用于神经架构搜索的神经架构贝叶斯优化。arXiv预印本arXiv:1910.118582019。
[146] 阿西娅·威尔逊、丽贝卡·罗洛夫斯、米切尔·斯特恩、内森·斯雷布罗和本杰明·雷希特。机器学习中自适应梯度方法的边际值，2018a。
[147] 詹姆斯·威尔逊（James Wilson）、弗兰克·赫特（Frank Hutter）和马克·德伊森罗斯（Marc Deisenroth）。最大化贝叶斯优化的捕获函数。《神经信息处理系统进展》，第9884-98952018b页。
[148] 詹姆斯·威尔逊（James T Wilson）、维亚切斯拉夫·博罗维茨基（Viacheslav Borovitskiy）、亚历山大·特列宁（Alexander Terenin）、彼得·莫斯托夫斯基（Peter Mostowsky）和马克·彼得·德伊森罗斯（Marc Peter Deisenroth）。高斯过程后验函数的有效采样。在2020年国际机器学习会议上。
[149] 吴培伦、郭慧和努尔·穆斯塔法。Pelican：2020年用于网络入侵检测的深度剩余网络。
[150] Yaodong Yang、Rasul Tutunov、Phu Sakulwongtana和Haitham Bou Ammar。αα-秩：通过随机优化实际缩放α-序。《第19届自治代理和多代理系统国际会议论文集》，第1575-1583页，2020年。
[151] 尹明章和周明远。半隐式变分推理。2018年，机器学习国际会议，第5660-5669页。
[152] Kwang-Seon Yoo和Seog-Young Han。几何非线性结构拓扑优化的改进蚁群算法。国际精密工程与制造杂志，15（4）：679-6872014。
[153] 马修·D·泽勒。Adadelta：一种自适应学习率方法。arXiv预印本arXiv:1212.57012012。
[154] Zhuhong Zhang、Lei Wang和Fei Long。免疫优化方法求解多目标机会约束规划。进化系统，6（1）：41-532015。
[155] 朱慈友（Ciyou Zhu）、理查德·伯德（Richard H Byrd）、吕培煌（Peihuang Lu）和豪尔赫·诺塞达尔（Jorge Nocedal）。算法778:L-BFGS-B:Fortran子程序，用于大规模有界约束优化。ACM数学软件汇刊（TOMS），23（4）：550-5601997·Zbl 0912.65057号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。