×
林景亮;李海燕;黄云宝;陈景欢;黄鹏程;黄泽英

一种用于超参数优化的高效改进超带和基于信任区域的模式脉冲采样混合方法。 （英语） Zbl 1523.62022号

工程优化。 54，编号252-268（2022）.
摘要：尽管深度学习算法得到了广泛的应用，但其性能在很大程度上取决于一组好的超参数。本文提出了一种高效的超宽带和基于信任域的模式脉冲采样混合方法，用于超参数优化。首先，对Hyperband进行修改，利用Hyperband从大量随机采样点中快速选择最优值，构造信赖域。其次，在信赖域内进行模式冲击采样，在最小值附近系统地生成更多的点，并动态调整信赖域的位置或大小以加速其收敛。第三，重复选择和采样过程，直到满足终止标准。通过算例验证了混合方法的有效性，并将其结果与五种著名算法的结果进行了比较。比较结果表明，该混合方法获得了较好的最优解，具有较高的效率。

MSC公司：

62-08 统计问题的计算方法
2015年1月62日 贝叶斯推断
68吨10 模式识别、语音识别
90立方厘米 灵敏度、稳定性、参数优化
90 C55 连续二次规划类型的方法

关键词：

超参数优化;超波段;模型冲击采样;深度学习;信任区

软件：

AlexNet公司;青蒿素;BOHB公司;深度演讲;亚当;SMAC公司;ImageNet公司;超波段;Hyperopt公司
PDF格式BibTeX公司 XML格式引用
\textit{J.Lin}等人，工程优化。54，第2号，252--268（2022；Zbl 1523.62022）
全文： 内政部

参考文献：

[1] Bergstra，J.、Bardenet，R.、Bengio，Y.和Kégl，B..2011年。《超参数优化算法》，第24届神经信息处理系统国际会议（NIPS’11）论文集，2546-2554。纽约州Red Hook:Curran Associates Inc。
[2] Bergstra，J。；Bengio，Y.，《超参数优化的随机搜索》，《机器学习研究杂志》，13，1，281-305（2012）·Zbl 1283.68282号 ·doi:10.1016/j.chemolab.2011.12.002
[3] Berkenkamp，F。；Schoellig，A.P。；Krause，A.，带未知超参数的No-Regret Bayesian优化，机器学习研究杂志，20，1-24（2019）·Zbl 1484.68179号 ·doi:10.3929/ethz-b-000337731
[4] Cheng，G.H。；Younis，A。；哈吉科莱，K.H。；Wang，G.G.，高维设计问题全局优化的基于信赖域的模式追踪抽样方法，机械设计杂志，173，2，1-9（2015）·数字对象标识代码：10.1115/1.4029219
[5] Falkner，S.、Klein，A.和Hutter，F.，2018年。“BOHB:大规模稳健高效超参数优化”，第35届机器学习国际会议论文，7月10日至15日，瑞典斯德哥尔摩。
[6] 方国堂，《均匀设计：数理方法在实验设计中的应用》，《数学应用学报》，第3、4、363-372页（1980）·Zbl 0473.62067号
[7] Fu，J.C。；Wang，L.Q.，一种基于随机离散的蒙特卡罗抽样方法及其在应用概率中的应用、方法和计算，4，1，5-25（2012）·Zbl 1005.65016号 ·doi:10.1023/A：1015790929604
[8] Graves，A.、Mohamed，A.和Hinton，G.E.，2013年。“深度递归神经网络语音识别”，摘自2013年IEEE声学、语音和信号处理国际会议论文集，6645-6649。新泽西州皮斯卡塔韦：IEEE。
[9] Hannun，A.Y。；外壳，C。；Casper，J。；Catanzaro，B。；迪亚莫斯，G。；Elsen，E。；Prenger，R.，《深度语音：扩大端到端语音识别》，arXiv电子版，1-12（2014）
[10] Hutter，F.、Hoos，H.H.和Leyton-Brown，K.，2011年。“通用算法配置的基于序列模型的优化”，摘自《第五届学习与智能优化国际会议论文集》（LION'05），507-523。柏林，海德堡：斯普林格·弗拉格出版社。
[11] Ilievski，I.、Akhtar，T.、Feng，J.和Shoemaker，C.A.，2016年。“使用确定性RBF代理的深度学习算法的高效超参数优化”，载于第三十一届AAAI人工智能会议论文集（AAAI’17），822-829。加利福尼亚州帕洛阿尔托：AAAI出版社。
[12] Jamieson，K.和Talwalkar，A.，2016年。“非随机最佳臂识别和超参数优化”，《第19届国际人工智能与统计会议论文集》，A.Gretton和C.C.Robert编辑，240-248。PMLR公司。http://proceedings.mlr.press/v51/jamieson16.pdf
[13] Kazemi，M.、Wang，G.G.、Rahnamayan，S.和Gupta，K.，2010年。“约束重要性模式追求连续全局优化的抽样”，摘自ASME 2010年国际设计工程技术会议和工程中的计算机和信息会议论文集。第1卷：第36届设计自动化会议，A部分和B部分，325-334。纽约：ASME。
[14] Kingma，D.P.和Ba，L.J.，2015年。“Adam：随机优化的一种方法”，论文发表于5月7日至9日在美国加利福尼亚州圣地亚哥举行的第三届学习表征国际会议上。
[15] Klein，A.，Falkner，S.，Bartels，S.、Hennig，P.和Hutter，F.，2017年。“大型数据集上机器学习超参数的快速贝叶斯优化”，载于《第20届国际人工智能与统计会议论文集》，A.Singh和J.Zhu编辑，第54卷，第528-536页。PMLR公司。http://proceedings.mlr.press/v54/klein17a/klein117a.pdf ·Zbl 1421.62027号
[16] Krizhevsky，A。；Sutskever，I。；Hinton，G.E.，用深度卷积神经网络进行ImageNet分类，ACM的通信，60，6，1097-1105（2017）·doi:10.1145/3065386
[17] LeCun，Y。；Y.本吉奥。；Hinton，G.E.，《深度学习》，《自然》，7553、521、436-444（2015）·doi:10.1038/nature14539
[18] LeCun，Y。；博图，L。；Y.本吉奥。；Haffner，P.，《基于梯度的学习应用于文档识别》，IEEE学报，86，11，2278-2324（1998）·数字对象标识代码：10.1109/5.726791
[19] 李，L。；杰米森，K。；DeSalvo，G。；Rostamizadeh，A。；Talwalkar，A.，《超波段：基于波段的超参数优化新方法》，《机器学习研究杂志》，18，1，1-52（2018）·Zbl 1468.68204号 ·doi:10.5555/3122009.3240242
[20] 李，P。；Li，H.Y。；黄Y.B。；Wang，K.F。；Xia，N.，《准确稳健地构建准解析响应面以实现基于仿真的高效优化》，工程软件进展，114，1，325-336（2017）·doi:10.1016/j.advengsoft.2017.07.014
[21] Li，L.和Talwalkar，A.，2019年。“神经结构搜索的随机搜索和可再现性”，《第35届人工智能不确定性会议论文集》，R.P.Adams和V.Gogate编辑，367-377。PMLR公司。http://proceedings.mlr.press/v115/li20c/li20c.pdf
[22] 马，X.B。；Wong，P.K。；Zhao，J.，带非线性液压可调减振器的汽车半主动悬架系统的实用多目标控制，机械系统和信号处理，117667-688（2019）·doi:10.1016/j.ymssp.2018.08.022
[23] 医学博士麦凯。；贝克曼，R.J。；Conover，W.J.，《计算机代码输出分析中选择输入变量值的三种方法的比较》，技术计量学，21，1，239-245（1979）·Zbl 0415.62011号 ·doi:10.2307/1268522
[24] Nguyen，V.2019。“加速超参数调谐的贝叶斯优化”，IEEE第二届人工智能和知识工程国际会议（AIKE 2019），302-305。新泽西州皮斯卡塔韦：IEEE。
[25] Nocedal，J。；Wright，S.J.，《数值优化：信任区域方法》（2006），纽约：Springer，纽约·Zbl 1104.65059号
[26] 哦，S。；Jung，Y。；Kim，S。；李，I。；Kang，N.，《深度生成设计：拓扑优化和生成模型的集成》，《机械设计杂志》，141，11，1-22（2019）·doi:10.1115/1.4044229
[27] 谢里夫，B。；Wang，G.G。；Elmekkawy，T.Y.，昂贵黑盒函数离散变量优化的模式追踪抽样方法，机械设计杂志，130，1-10（2008）·数字对象标识代码：10.1115/12803251
[28] Snoek，J.、Larochelle，H.和Adams，R.P.，2012年。“机器学习算法的实用贝叶斯优化”，摘自第25届神经信息处理系统国际会议（NIPS’12）第2卷，2951-2959。纽约州Red Hook:Curran Associates Inc。
[29] 瑞典斯威斯基。；斯诺克，J。；Adams，R.P.，Freeze-Thaw Bayesian Optimization，arXiv电子版，1-12（2014）
[30] 王力强。；Shan，S.Q。；Wang，G.G.，昂贵黑箱函数全局优化的模式追踪抽样方法，工程优化杂志，36，4，419-438（2004）·doi:10.1080/03052150410001686486
[31] Xue，X.D.，Cheng，K.W.E.，Zhang，Lin，J.K.，Wang，D.H.，Bao，Y.J.，Wong，M.K.和Cheung，N..，2011年。《汽车主动悬架艺术研究》，第四届电力电子系统与应用国际会议论文集，1-7。新泽西州皮斯卡塔韦：IEEE。
[32] 杨振杰。；李，X.L。；布林森，L.C。；Choudhary，A.N。；Chen，W。；Agrawal，A.，《通过深度对抗性学习方法进行微结构材料设计》，《机械设计杂志》，140，11，1-10（2018）·数字对象标识代码：10.1115/1.4041371
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。