阿里·希伯勒；卢伊奇市布雷瓦库；马修·巴尔森特；加扎利Talbi；三聚氰胺、营养素 使用深高斯过程的贝叶斯优化及其在航空航天系统设计中的应用。 （英语） Zbl 1473.62107号 最佳方案。工程师。 22，编号1，321-361（2021）. 摘要：使用高斯过程的贝叶斯优化是处理涉及昂贵黑盒函数的优化的常用方法。然而，由于经典高斯过程中定义的协方差函数的平稳性假设，该方法可能不适用于优化问题中涉及的非平稳函数。为了克服这个问题，深高斯过程可以被用作替代模型，而不是经典的高斯过程。该建模技术通过考虑平稳高斯过程的函数组成，增加了表示能力，以捕获非平稳性，从而提供了多层结构。本文研究了深高斯过程在贝叶斯优化背景下的应用。讨论了这种优化方法的特殊性，并通过学术测试案例加以强调。基于分析测试用例和航天设计优化问题，评估了深高斯过程贝叶斯优化的性能，并与最新的静态和非静态贝叶斯最优化方法进行了比较。 引用于5文件 MSC公司： 62G05型 非参数估计 62-08 统计问题的计算方法 60G15年 高斯过程 关键词：贝叶斯优化；高斯过程；深高斯过程；非平稳函数；全局约束优化 软件：TensorFlow公司；G流量；OpenMDAO接口；轨道；亚当；科比拉2；BOBYQA公司；自我 PDF格式BibTeX公司 XML格式引用 \textit{A.Hebbal}等人，Optim。工程22，编号1，321--361（2021；Zbl 1473.62107） 全文： 内政部 arXiv公司 参考文献： [1] Amari S-I，Douglas SC（1998）为什么是自然梯度？1998年IEEE声学、语音和信号处理国际会议论文集，ICASSP’98（目录号98CH36181），第2卷。IEEE，第1213-1216页 [2] Amine Bouhlel，M。；北卡罗来纳州巴托利。；瑞吉斯，RG；奥茨曼，A。；Morlier，J.，《利用kriging模型结合偏最小二乘法对高维约束问题进行高效全局优化》，Eng Optim，50，12，2038-2053（2018）·Zbl 1523.90279号 ·doi:10.1080/03052115X.2017.1419344 [3] 阿特金森，PM；Lloyd，CD，《用于地质统计采样优化的非静态变异函数模型：使用高程数据的经验调查》，《计算地质科学》，33，10，1285-1300（2007）·doi:10.1016/j.cageo.2007.05.011 [4] Audet C，Denni J，Moore D，Booker A，Frank P（2000）基于代理模型的约束优化方法。在第八届多学科分析与优化研讨会上，第4891页 [5] 北卡罗来纳州巴托利。；Lefebvre，T。；杜布罗伊，S。；奥利凡蒂，R。；普里姆·R。；邦斯，N。；马丁斯，JRRA；Morlier，J.，《应用于气动机翼设计的约束全局优化自适应建模策略》，Aerosp Sci-Technol，90，85-102（2019）·doi:10.1016/j.ast.2019.03.041 [6] Basu K，Ghosh S（2017）《强盗背景下高斯过程优化的汤普森采样分析》。arXiv预打印arXiv:1705.06808 [7] Breiman，L.，分类和回归树（2017），阿宾顿：劳特利奇，阿宾登·doi:10.1201/9781315139470 [8] Bui T，Hernández-Lobato D，Hernandez-Lovato J，Li Y，Turner R（2016）使用近似期望传播进行回归的深高斯过程。摘自：机器学习国际会议，第1472-1481页 [9] Cordery I，Yao SL（1993），干旱相关现象的非平稳性。极端水文事件。摘自：1993年1月1日于横滨举行的国际研讨会记录 [10] Cox DD，John S（1997）Sdo:全局优化的统计方法。In：多学科设计优化：最先进，第315-329页 [11] Dai Z，Damianou A，González J，Lawrence N（2015）变分自动编码深高斯过程。arXiv预打印arXiv:1511.06455 [12] Damianou A，Lawrence N（2013）深度高斯过程。摘自：《人工智能与统计》，第207-215页 [13] de G.Matthews，AG公司；范德威尔克，M。；Nickson，T。；Fujii，K。；布库瓦拉斯，A。；León-Villagrá，P。；加赫拉马尼，Z。；Hensman，J.，《GPflow:使用TensorFlow的高斯过程库》，J Mach Learn Res，18，40，1-6（2017）·兹比尔1437.62127 [14] 弗雷斯特，A。；Sobester，A。；Keane，A.，《通过代理建模进行工程设计：实用指南》（2008年），纽约：威利·doi:10.1002/9780470770801 [15] Frazier PI（2018）贝叶斯优化教程。arXiv预打印arXiv:1807.02811 [16] Garg S、Singh A、Ramos F（2012）《学习环境监测的非平稳时空模型》。摘自：多伦多第二十二届AAAI人工智能会议 [17] Gibbs MN（1998）用于回归和分类的贝叶斯-高斯过程。剑桥大学博士论文 [18] 语法，RB；Apley，DW，大型计算机实验的局部高斯过程近似，J Compute Gr Stat，24，2，561-578（2015）·doi:10.1080/10618600.2014.914442 [19] 语法，RB；Lee，HKH，贝叶斯树高斯过程模型及其在计算机建模中的应用，美国统计协会，103，483，1119-1130（2008）·Zbl 1205.62218号 ·doi:10.1198/0162145000000689 [20] 格雷，JS；Hwang，JT；马丁斯，JRRA；KT摩尔；Naylor，BA，OpenMDAO:一个用于多学科设计、分析和优化的开源框架，Struct-Multidisip Optim，59，1075-1104（2019）·doi:10.1007/s00158-019-02211-z [21] Haas，TC，Kriging和移动窗口内的自动变异函数建模，Atmos Environ Part a Gen Top，24,71759-1769（1990）·doi:10.1016/0960-1686（90）90508-K [22] 哈瓦西，M。；埃尔南德斯·洛巴托，JM；Murillo-Fuentes，JJ；Bengio，S。；瓦拉赫，H。；拉罗谢尔，H。；格劳曼，K。；塞萨·比安奇，N。；Garnett，R.，使用随机梯度哈密顿蒙特卡罗推断深高斯过程，神经信息处理系统进展，7506-7516（2018），纽约：Curran Associates Inc，纽约 [23] Hensman J、Fusi N、Lawrence ND（2013）《大数据的高斯过程》。arXiv预打印arXiv:1309.6835 [24] Hernández-Lobato JM，Hoffman MW，Ghahramani Z（2014）预测熵搜索，用于黑盒函数的有效全局优化。主题：神经信息处理系统的进展，第918-926页 [25] 希格顿，D。；Swall，J。；Kern，J.，非静态空间建模，贝叶斯统计，6，1，761-768（1999）·兹比尔0982.62079 [26] Hoffman MD、Brochu E、de Freitas N（2011）《贝叶斯优化的投资组合分配》。单位：UAI。Citeser，第327-336页 [27] Huang W，Zhao D，Sun F，Liu H，Chang E（2015）使用深度神经网络的可缩放高斯过程回归。参加：第二十届国际人工智能联合会议 [28] Jones博士；Schonlau，M。；Welch，WJ，《昂贵黑盒函数的高效全局优化》，J Glob Optim，13，4，455-492（1998）·Zbl 0917.90270号 ·doi:10.1023/A：1008306431147 [29] Kingma DP，Ba J（2014）Adam：一种随机优化方法。arXiv预印本arXiv:1412.6980 [30] Konda S（2006）非平稳时间序列的拟合模型：EEG数据的应用。凯斯西储大学博士论文 [31] Krityakierne T，Ginsbourger D（2015）稀疏和局部高斯过程模型的全局优化。参加：机器学习、优化和大数据国际研讨会。柏林施普林格，第185-196页 [32] LeCun，Y。；Y.本吉奥。；Hinton，G.，《深度学习》，《自然》，521，7553，436（2015）·doi:10.1038/nature14539 [33] Marmin，S。；金斯堡，D。；巴库，J。；Liandrat，J.，异质变量函数的扭曲高斯过程和基于导数的序列设计，SIAM/ASA J Uncertain Quantif，6，3，991-1018（2018）·Zbl 1403.62144号 ·doi:10.1137/17M1129179 [34] 米莉，PCD；J.贝当古。；Falkenmark，M。；赫希，RM；Kundzewicz，ZW；Lettenmaier，DP；Stouffer、RJ、Stationarity已死：水管理在哪里？，科学，3195863573-574（2008）·doi:10.1126/科学.1151915 [35] Močkus J（1975）关于寻求极值的贝叶斯方法。In:优化技术IFIP技术会议。柏林施普林格，第400-404页·Zbl 0311.90042号 [36] CJ帕西奥雷克；Schervish，MJ，使用一类新的非平稳协方差函数进行空间建模，环境计量学，17，5，483-506（2006）·doi:10.1002/env.785 [37] 帕普利斯，A。；Unnikrishna，P.，《概率、随机变量和随机过程》（1991），纽约：塔塔·麦格劳-希尔教育出版社，纽约 [38] JM帕尔；AJ Keane；美国国际期刊Forrester；Holden，CME，带约束处理的基于代理优化的填充采样标准，Eng Optim，44，10，1147-1166（2012）·doi:10.1080/0305215X.2011.637556 [39] 皮切尼（Picheny，V.）。；Wagner，T。；Ginsbourger，D.，基于kriging的噪声优化填充标准基准，Struct Multidisip Optim，48，3，607-626（2013）·文件编号：10.1007/s00158-013-0919-4 [40] Picheny V，Gramacy RB，Wild S，Le Digabel S（2016）混合约束下的贝叶斯优化与松弛变量增广拉格朗日算法。主题：神经信息处理系统的进展，第1435-1443页 [41] Powell MJD（2009）无导数边界约束优化的Bobyqa算法。剑桥大学NA报告NA2009/06，剑桥大学，第26-46页 [42] Powell，MJD，《无导数无约束极小化的信赖域方法》，《数学程序》，97，3，605-623（2003）·Zbl 1106.90382号 ·doi:10.1007/s10107-003-0430-6 [43] Priem R，Bartoli N，Diouane Y（2019）关于约束贝叶斯优化填充标准中的上信任界的使用。摘自：AIAA航空2019论坛，第2986页 [44] AK秦；黄，VL；Suganthan，PN，用于全局数值优化的具有策略自适应的差分进化算法，IEEE Trans-Evol Compute，13，2，398-417（2009）·doi:10.1109/TEVC.2008.927706 [45] Rasmussen CE，Ghahramani Z（2002）无限混合高斯过程专家。主题：神经信息处理系统进展，第881-888页 [46] 拉斯穆森，C。；Williams，CKI，机器学习的高斯过程（2006），剑桥：麻省理工学院出版社，剑桥·Zbl 1177.68165号 [47] Remes S，Heinonen M，Kaski S（2017）非静态光谱核。In：《神经信息处理系统的进展》，第4642-4651页 [48] Salimbeni H，Deisenroth M（2017）深高斯过程的双重随机变分推断。主题：神经信息处理系统的进展，第4588-4599页 [49] Salimbeni H，Eleftheriadis S，Hensman J（2018）《实践中的自然梯度：高斯过程模型中的非共轭变分推断》。In：人工智能和统计 [50] 桑普森，P。；Guttorp，PD，非平稳空间协方差结构的非参数估计，美国统计协会，87，417，108-119（1992）·doi:10.1080/01621459.1992.10475181 [51] Sasena MJ（2002），使用克里金近似进行约束全局设计优化的灵活性和效率增强。密歇根大学安娜堡分校博士论文 [52] MJ Sasena；Papalambros，PY；Goovaerts，P.，《使用代理建模算法在基于仿真的优化中利用函数计算时间的差异》，约束，2，5（2001） [53] Schonlau M，Welch WJ，Jones D（1996）非参数函数拟合的全局优化。收录于：美国标准协会会议录，物理和工程科学部分，第183-186页 [54] 沙赫里亚里，B。；瑞典斯威斯基。；王，Z。；亚当斯，RP；De Freitas，N.，《让人类脱离循环：贝叶斯优化综述》，IEEE Proc，104，1，148-175（2015）·doi:10.1010/JPROC.2015.2494218 [55] Shahrari B，Wang Z，Hoffman MW，Bouchard-CótéA，de Freitas N（2014）贝叶斯优化的熵搜索组合。arXiv预打印arXiv:1406.4625 [56] Snelson E，Ghahramani Z（2006），使用伪输入的稀疏高斯过程。主题：神经信息处理系统的进展，pp 1257-1264 [57] Snoek J、Rippel O、Swersky K、Kiros R、Satish N、Sundaram N、Patwarve M、Prabhat MR、Adams R（2015）使用深度神经网络的可伸缩贝叶斯优化。In:机器学习国际会议，第2171-2180页 [58] Snoek J、Swersky K、Zemel R、Adams R（2014）非平稳函数贝叶斯优化的输入扭曲。In:机器学习国际会议，第1674-1682页 [59] Titsias M（2009）稀疏高斯过程中诱导变量的变分学习。收录：《人工智能与统计》，第567-574页 [60] 托尔，DJJ；Keane，AJ，《设计优化的非静态克里金法》，《工程优化》，44，6，741-765（2012）·doi:10.1080/0305215X.2011.607816 [61] 维亚纳，FAC；哈夫特卡，RT；Watson，LT，《多代理技术辅助的高效全局优化算法》，J Glob Optim，56，2，669-689（2013）·Zbl 1275.90072号 ·doi:10.1007/s10898-012-9892-5 [62] Vidakovic，B.，《小波统计建模》（2009），纽约：威利出版社，纽约·Zbl 0924.62032号 [63] 王，G。；Shan，S.，《支持工程设计优化的超模型技术综述》，机械设计杂志，129，4370-380（2007）·数字对象标识代码：10.1115/1.2429697 [64] Watson，AG公司；Barnes，RJ，《确定极值的填充取样标准》，《数学地质学》，27，5，589-608（1995）·doi:10.1007/BF02093902 [65] 野生，山猫；瑞吉斯，RG；休梅克，加利福尼亚州，《轨道：通过信任区域的径向基函数插值进行优化》，SIAM科学计算杂志，30，6，3197-3219（2008）·Zbl 1178.65065号 ·数字对象标识代码：10.1137/070691814 [66] 熊，Y。；Chen，W。；阿普利，D。；Ding，X.，工程设计中元建模的非平稳协方差克里金方法，国际数值方法工程杂志，71，6，733-756（2007）·Zbl 1194.74553号 ·doi:10.1002/nme.1969 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。