杨泽斌;张爱军 通过顺序均匀设计进行超参数优化。 （英语） Zbl 07415092号 J.马赫。学习。物件。 22，第149号论文，47页（2021年）. 摘要：超参数优化（HPO）在自动机器学习（AutoML）中起着核心作用。由于超参数的响应面通常未知，因此这是一个具有挑战性的任务，因此本质上是一个全局优化问题。本文将HPO重新定义为计算机实验，并提出了一种新的序列均匀设计（SeqUD）策略，该策略具有三方面的优点：a）使用均匀分布的设计点自适应地探索超参数空间，无需昂贵的元建模和捕获优化；b） 通过并行处理支持，连续生成逐批设计点；c） 为了有效地实时生成后续设计点，开发了一种新的增广均匀设计算法。在全局优化任务和HPO应用程序上进行了广泛的实验。数值结果表明，所提出的SeqUD策略优于基准HPO方法，因此它可以成为现有AutoML工具的一个有前途且有竞争力的替代方案。 引用于1文件 MSC公司： 68T05年 人工智能中的学习和自适应系统 关键词：自动机器学习;超参数优化;全局优化;顺序均匀设计;中心偏差 软件：虚拟库;青蒿素;骰子评估;自动锁相环;算法792;超波段;汽车WEKA;可调性;Hyperopt公司;伦敦银行支持向量机;SMAC公司 PDF格式BibTeX公司 XML格式引用 \textit{Z.Yang}和\textit{A.Zhang}，J.Mach。学习。第22号决议，第149号论文，第47页（2021年；Zbl 07415092） 全文： arXiv公司 链接 参考文献： [1] 雷米·巴德内特（R´emi Bardenet）、马蒂（M´aty´as Brendel）、巴尔´azs K´egl和米歇尔·塞巴格（Michele Sebag）。协作超参数调整。在2013年国际机器学习会议上，第199-207页。 [2] 詹姆斯·伯格斯特拉（James Bergstra）和约舒亚·本吉奥（Yoshua Bengio）。超参数优化的随机搜索。机器学习研究杂志，13（10）：281-3052012·Zbl 1283.68282号 [3] 詹姆斯·伯格斯特拉（James Bergstra）、布伦特·科默（Brent Komer）、克里斯·埃利亚史密斯（Chris Eliasmith）、丹·亚明斯（Dan Yamins）和大卫·D·考克斯（David D Cox）。Hyperopt：用于模型选择和超参数优化的python库。计算科学与发现，8（1）：0140082015。 [4] 詹姆斯·S·伯格斯特拉（James S Bergstra）、雷米·巴德内特（R’emi Bardenet）、约舒亚·本吉奥（Yoshua Bengio）和巴尔阿兹·凯格尔（Bal’azs K’egl）。超参数优化算法。神经信息处理系统进展，第2546-2554页，2011年。 [5] 费利克斯·博肯坎普（Felix Berkenkamp）、安吉拉·普·斯科利格（Angela P Schoellig）和安德烈亚斯·克劳斯（Andreas Krause）。具有未知超参数的无重贝叶斯优化。机器学习研究杂志，20（50）：1-242019·Zbl 1484.68179号 [6] 张志忠和林志仁。LIBSVM：支持向量机库。ACM智能系统与技术汇刊，2（3）：272011年。 [7] 卡雷尔·克朗贝克、德克·戈里森、德克·德斯克里弗和汤姆·达内。一种新的混合顺序设计策略，用于计算机实验的全局代理建模。SIAM科学计算期刊，33（4）：1948-19742011·Zbl 1227.62059号 [8] Thanh Dai Nguyen、Sunil Gupta、Santu Rana和Svetha Venkatesh。稳定贝叶斯优化。亚太知识发现和数据挖掘会议，第578-591页。施普林格，2017年。 [9] 希亚拉·迪·弗朗西斯科马利诺（Chiara Di Francescomarino）、马龙·杜马（Marlon Dumas）、马尔科·费德里奇（Marco Federici）、希亚拉·吉迪尼（Chiara-Ghidini）、法布里齐奥·玛丽亚·马吉（Fabrizio Maria Maggi）、威廉斯·里奇（。预测业务流程监控中超参数优化的遗传算法。信息系统，74:67-832018。 [10] 托比亚斯·多姆汉（Tobias Domhan）、约斯特·托比亚斯·斯普林伯格（Jost Tobias Springenberg）和弗兰克·赫特（Frank Hutter）。通过学习曲线的外推加速深度神经网络的自动超参数优化。国际人工智能联合会议，第3460-3468页，2015年。 [11] Delphine Dupuy、C´eline Helbert和Jessica Franco。Dicedesign和diceval：计算机实验设计和分析的两个r包。《统计软件杂志》，65（11）：1-382015。 [12] 雨果·杰尔·埃斯卡兰特（Hugo Jair Escalante）、曼努埃尔·蒙特斯（Manuel Montes）和路易斯·恩里克·苏卡尔（Luis Enrique Sucar）。粒子群模型选择。机器学习研究杂志，10（15）：405-4402009。 [13] 凯泰芳和袁旺。优化的序列算法及其在回归分析中的应用。当代数学课堂讲稿，第17-28页，1990年。 [14] 凯泰芳和袁旺。统计数字理论方法，第51卷。查普曼和霍尔，伦敦。，1994. ·Zbl 0925.65263号 [15] Kai-Tai Fang、Dennis KJ Lin、Peter Winker和Yong Zhang。均匀设计：理论与应用。技术计量学，42（3）：237-2482000·Zbl 0996.62073号 [16] Kai-Tai Fang、Runze Li和Agus Sudjianto。计算机实验设计与建模。查普曼和霍尔/CRC，2006年·Zbl 1093.62117号 [17] Kai-Tai Fang、Min-Qian Liu、Hong Qin和Yong-Dao Zhou。均匀实验设计的理论和应用，统计学课堂讲稿第221卷。施普林格，2018年·Zbl 1407.62015年 [18] Matthias Feurer、Aaron Klein、Katharina Eggensperger、Jost Springenberg、Manuel Blum和Frank Hutter。高效且稳健的自动化机器学习。《神经信息处理系统进展》，第2962-2970页，2015年。 [19] 爱德华多·C·加里多·默根（Eduardo C Garrido-Merch´an）和丹尼尔·埃尔恩安德斯·洛巴托（Daniel Hern´andez-Lobato）。用高斯过程处理贝叶斯优化中的分类变量和整值变量。神经计算，380:20-352020。 [20] 海基·哈里奥（Heikki Haario）、埃罗·萨克斯曼（Eero Saksman）和约翰娜·塔米宁（Johanna Tamminen）。随机行走metropolis算法的自适应建议分布。计算统计学，14（3）：375-3961999·Zbl 0941.62036号 [21] Heikki Haario、Eero Saksman和Johanna Tamminen。自适应大都会算法。伯努利，7（2）：223-2422001·Zbl 0989.65004号 [22] 弗雷德·希克内尔。广义差分和求积误差界。计算数学，67（221）：299-3221998·Zbl 0889.41025号 [23] 黄建明、李玉杰、林克杰和黄素云。基于均匀设计的支持向量机模型选择。计算统计与数据分析，52（1）：335-3462007·Zbl 1452.62073号 [24] Frank Hutter、Holger H Hoos和Kevin Leyton-Brown。基于序列模型的通用算法配置优化。在学习和智能优化国际会议上，第507-523页。施普林格，2011年。 [25] Frank Hutter、Holger H Hoos和Kevin Leyton-Brown。并行算法配置。在学习和智能优化国际会议上，第55-70页。施普林格，2012年。 [26] 弗兰克·赫特（Frank Hutter）、拉尔斯·科特霍夫（Lars Kotthoff）和华金·范肖伦（Joaquin Vanschoren）。自动化机器学习：方法，系统，挑战。《施普林格自然》，2019年。 [27] 金瑞晨（Ruichen Jin）、陈伟（Wei Chen）和阿古斯（Agus Sudjianto）。构造计算机实验优化设计的有效算法。统计规划与推断杂志，134（1）：268-2872005·Zbl 1066.62075号 [28] 唐纳德·琼斯（Donald R Jones）、马蒂亚斯·肖诺（Matthias Schonlau）和威廉·J·韦尔奇（William J Welch）。高效全局优化昂贵的黑盒函数。《全局优化杂志》，13（4）：455-4921998·Zbl 0917.90270号 [29] Kirthevasan Kandasamy、Jeff Schneider和Barnab担任P´oczos。高维贝叶斯优化和通过加法模型的土匪。机器学习国际会议，第295-304页，2015年。 [30] Q Ye Kenny、William Li和Agus Sudjianto。最优对称拉丁超立方体设计的算法构造。统计规划与推断杂志，90（1）：145-1592000·Zbl 1109.62329号 [31] Brent Komer、James Bergstra和Chris Eliasmith。Hyperopt-sklearn：scikit-learn的自动超参数配置。2014年AutoML机器学习研讨会国际会议，第9卷，第50页。 [32] Lars Kotthoff、Chris Thornton、Holger H Hoos、Frank Hutter和Kevin Leyton Brown。Auto-WEKA 2.0：WEKA中的自动模型选择和超参数优化。机器学习研究杂志，18（1）：826-8302017。 [33] 朱利安·查尔斯·勒夫斯克。贝叶斯超参数优化：过拟合，集合和条件空间。拉瓦尔大学博士论文，2018年。 [34] Lisha Li、Kevin Jamieson、Giulia DeSalvo、Afshin Rostamizadeh和Amee Talwalkar。超波段：一种基于盗贼的超参数优化新方法。机器学习研究杂志，18（1）：6765-68162017·Zbl 1468.68204号 [35] 蒂莫西·利利克拉普（Timothy P Lillicrap）、乔纳森·亨特（Jonathan J Hunt）、亚历山大·普里泽尔（Alexander Pritzel）、尼古拉·赫斯（Nicolas Heess）、汤姆·埃雷斯（Tom Erez）、尤瓦尔·塔萨（Yuval Tassa）、。通过深层强化学习进行连续控制。arXiv预印本：1509.029712015。 [36] Michinari Momma和Kristin P Bennett。支持向量回归模型选择的模式搜索方法。《SIAM国际数据挖掘会议记录》，第261-274页。SIAM，2002年·Zbl 1274.68342号 [37] 哈拉尔德·尼德雷特。随机数生成和准蒙特卡罗方法。SIAM，1992年·Zbl 0761.65002号 [38] Philipp Probst、Anne-Laure Boulesteix和Bernd Bischl。可调性：机器学习算法超参数的重要性。机器学习研究杂志，20（53）：1-322019·Zbl 1485.68226号 [39] 罗伯特·伦卡和罗恩·布朗。算法792：平面内散乱数据插值的acm算法的精度测试。ACM数学软件汇刊，25（1）：78-941999·兹伯利0963.65014 [40] Bobak Shahriari、Kevin Swersky、Ziyu Wang、Ryan P Adams和Nando De Freitas。让人类脱离循环：贝叶斯优化综述。IEEE会议记录，104（1）：148-1752016。 [41] 贾斯珀·斯诺克（Jasper Snoek）、雨果·拉罗谢尔（Hugo Larochelle）和瑞安·亚当斯（Ryan P Adams）。机器学习算法的实用贝叶斯优化。《神经信息处理系统进展》，第2951-2959页，2012年·Zbl 1433.68379号 [42] 伊利亚·索波尔。关于准蒙特卡罗积分。《模拟中的数学与计算机》，47（2-5）：103-1121998。 [43] S.Surjanovic和D.Bingham。模拟实验虚拟库：测试功能和数据集。2020年8月9日检索，来自http://www.sfu.ca/苏尔加诺，2020年。 [44] Kevin Swersky、Jasper Snoek和Ryan P Adams。多任务贝叶斯优化。《神经信息处理系统进展》，第2004-2012页，2013年。 [45] 王子瑜（Ziyu Wang）、马斯鲁尔·佐吉（Masrour Zoghi）、弗兰克·赫特（Frank Hutter）、大卫·马西森（David Matheson）和南多·德·弗雷塔斯（Nando De Freitas）。基于随机嵌入的高维贝叶斯优化。国际人工智能联合会议，第1778-1784页，2013年。 [46] 巴雷特·佐夫和夸克·V·勒。神经架构搜索与强化学习。arXiv预印本：1611.015782016。 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。