×

多保真度高斯过程正交嵌入的贝叶斯学习。 (英语) Zbl 1507.62236号

摘要:复杂工程系统中的不确定性传播通常会带来与建模和量化模型输出概率分布相关的重大计算挑战,因为这些问题是由所研究系统中固有的各种不确定性来源引起的。高斯过程回归(GPs)是一种稳健的元建模技术,可用于快速模型预测和响应面探索。GP的多精度变化进一步利用廉价和低保真度模型模拟的信息,以提高其在高保真度模型上的预测性能。为了处理在高维设计空间中训练GP所需的大量数据,通常的做法是引入潜在的设计变量,这些变量通常是原始输入空间到低维子空间的投影,因此替代了学习初始高维映射的问题,在低维空间训练GP。在本文中,我们提出了一种贝叶斯方法来识别将输入点映射到低维潜在变量的最优变换。“投影”映射由一个被视为先验未知的正交矩阵组成,需要根据可用的训练数据与GP参数联合推断。所提出的贝叶斯推理方案依赖于一种两步迭代算法,该算法分别从GP参数和投影矩阵的边际后验概率中进行采样,两者均使用马尔可夫链蒙特卡罗(MCMC)采样。为了考虑正交投影矩阵上的正交约束,采用了测地蒙特卡罗采样算法,该算法适用于流形上的概率测度。我们将提出的框架扩展到使用GP的多保真度模型,包括一起训练多个输出的场景。我们用一个已知的低维子空间在三个合成问题上验证了我们的框架。我们提出的框架的优点在工业燃气轮机末级叶片具有计算挑战性的气动优化中得到了说明,其中我们研究了三维翼型的85维形状参数化对两个相关输出量的影响,特别是空气动力学效率和反作用程度。

MSC公司:

2015年1月62日 贝叶斯推断
60G15年 高斯过程
62克08 非参数回归和分位数回归
65二氧化碳 蒙特卡罗方法
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] Smith,R.,《不确定性量化:理论、实施和应用》(第12卷)(2013年),SIAM
[2] Le Maêtre,O。;Knio,O.,《不确定性量化的光谱方法:在计算流体动力学中的应用》(2010),施普林格科学与商业媒体·Zbl 1193.76003号
[3] 科赫,P。;T·辛普森。;艾伦,J。;Mistree,F.,《多学科设计优化的统计近似:尺寸问题》,J.Aircr。,36, 275-286 (1999)
[4] 王,G。;Shan,S.,《支持工程设计优化的元建模技术综述》,ASME。J.机械。设计。,129370-380(2007),网址https://doi.org/10.115/1.2429697
[5] 莫罗科夫,W。;Caflisch,R.,《准蒙特卡罗积分》,J.Compute。物理。,122、218-230(1995),网址https://doi.org/10.1006/jcph.1995.1209 ·Zbl 0863.65005号
[6] Tarantola,A.,《模型参数估计的反问题理论和方法》(2005),工业和应用数学学会·Zbl 1074.65013号
[7] 加尼姆,R。;Spanos,P.,《随机有限元:谱方法》(2003),Courier Corporation
[8] 克尼奥,O。;Le Maitre,O.,使用多项式混沌分解的CFD中的不确定性传播,流体动力学。决议,38,616(2006)·兹比尔1178.76297
[9] 秀,D。;Karniadakis,G.,随机微分方程的Wiener-Askey多项式混沌,SIAM J.Sci。计算。,24, 619-644 (2002) ·Zbl 1014.65004号
[10] 北卡罗来纳州克里斯蒂亚尼尼。;Shawe-Taylor,J.,《支持向量机和其他基于核的学习方法简介》(2000),剑桥大学出版社
[11] 科尔特斯,C。;Vapnik,V.,支持向量网络,马赫。学习。,20, 273-297 (1995) ·Zbl 0831.68098号
[12] Bilinis,I。;Zabaras,N.,《不确定性量化的多维自适应相关向量机》,SIAM J.Sci。计算。,34,B881-B908(2012),网址https://doi.org/10.1137/120861345 ·兹比尔1257.62024
[13] 齐利维斯,P。;Papaioannou,I。;斯特劳布,D。;Nobile,F.,《使用变分相关向量机的稀疏多项式混沌展开》,J.Compute。物理。,文章109498页(2020),网址https://doi.org/10.1016/j.jcp.2020.109498 ·Zbl 1437.62114号
[14] Tripathy,R。;Bilionis,I.,Deep UQ:学习深度神经网络替代模型,用于高维不确定性量化,J.Compute。物理。,375565-588(2018),网址https://doi.org/10.1016/j.jcp.2018.08.036 ·Zbl 1419.68084号
[15] Zhu,Y。;北卡罗来纳州扎巴拉斯。;Koutsourelakis,P。;Perdikaris,P.,《无标记数据的高维代理建模和不确定性量化的物理约束深度学习》,J.Compute。物理。,39456-81(2019),网址https://doi.org/10.1016/j.jcp.2019.05.024 ·Zbl 1452.68172号
[16] Bilinis,I。;北卡罗来纳州扎巴拉斯。;科诺米,B。;Lin,G.,《多输出可分离高斯过程:走向不确定性量化的有效、完全贝叶斯范式》,J.Compute。物理。,241212-239(2013),网址https://doi.org/10.1016/j.jcp.2013.01.011 ·Zbl 1349.76760号
[17] 陈,P。;北卡罗来纳州扎巴拉斯。;Bilinis,I.,《使用高斯过程和变分贝叶斯推理的无限混合的不确定性传播》,J.Compute。物理。,284, 291-333 (2015) ·兹比尔1351.76277
[18] 莱斯,M。;佩迪卡里斯,P。;Karniadakis,G.,含时和非线性偏微分方程的数值高斯过程,SIAM J.Sci。计算。,40,A172-A198(2018),网址https://doi.org/10.1137/17M1120762 ·Zbl 1386.65030号
[19] M.肯尼迪。;奥哈根,A。;希金斯,N.,计算机代码输出的贝叶斯分析,(当前环境问题的定量方法(2002),施普林格:施普林格伦敦),227-243·Zbl 1255.86003号
[20] O'Hagan,A.,Bayes-hermite求积,J.Statist。计划。推理,29245-260(1991)·兹比尔0829.65024
[21] Bilinis,I。;Zabaras,N.,《多输出局部高斯过程回归:应用于不确定性量化》,J.Compute。物理。,2315718-5746(2012),网址https://doi.org/10.1016/j.jcp.2012.04.047 ·兹比尔1277.60066
[22] 莱斯,M。;佩迪卡里斯,P。;Karniadakis,G.,《使用高斯过程的线性微分方程机器学习》,J.Compute。物理。,348683-693(2017),网址https://doi.org/10.1016/j.jcp.2017.07.050 ·Zbl 1380.68339号
[23] 阿特金森,S。;Zabaras,N.,结构化贝叶斯-高斯过程潜在变量模型:数据驱动降维和高维反演的应用,J.Compute。物理。,383、166-195(2019),网址https://doi.org/10.1016/j.jcp.2018.12.037 ·Zbl 1451.62095号
[24] 潘迪塔,P。;齐利维斯,P。;北阿瓦尔冈卡尔。;Bilinis,I。;Panchal,J.,使用非平稳高斯过程的基于代理的序贯贝叶斯实验设计,计算。方法。申请。机械。工程,385,114007(2021)·Zbl 1502.62085号
[25] 拉斯穆森,C.E。;Williams,C.,《机器学习的高斯过程》(2006),麻省理工学院出版社·Zbl 1177.68165号
[26] Herbrich,R。;劳伦斯,N。;Seeger,M.,《快速稀疏高斯处理方法:信息向量机》,(神经信息处理系统进展(2003)),625-632
[27] 亨斯曼,J。;Lawrence,N.,通过随机变分推理实现大数据的高斯过程,(Adv Neural Inf Process Syst,25(2012))
[28] 潘迪塔,P。;齐利维斯,P。;Ghosh,S。;Wang,L.,工业应用自适应序贯蒙特卡罗可扩展完全贝叶斯高斯过程建模和校准,J.Mech。设计,143074502(2021)
[29] Cressie,N.,《空间数据统计》(2015),John Wiley&Sons·Zbl 1347.62005年
[30] M.肯尼迪。;O'Hagan,A.,《当快速近似可用时预测复杂计算机代码的输出》,Biometrika,87,1-13(2000)·Zbl 0974.62024号
[31] 弗雷斯特,A。;Sóbester,A。;Keane,A.,《通过代理建模实现多精度优化》,Proc。R.Soc.A,463,3251-3269(2007)·兹比尔1142.90489
[32] M.肯尼迪。;O'Hagan,A.,《计算机模型的贝叶斯校准》,J.R.Stat.Soc.Ser。B统计方法。,63, 425-464 (2001) ·兹比尔1007.62021
[33] Le Gratiet,L。;Garnier,J.,《多保真度计算机实验设计的递归协同克里金模型》,国际期刊《不确定性》。数量。,4 (2014) ·Zbl 1497.62213号
[34] 佩迪卡里斯,P。;文丘里,D。;Royset,J。;Karniadakis,G.,通过递归协克里金和Gaussian-Markov随机场的多精度建模,Proc。R.Soc.A,471,第20150018条,pp.(2015),URLhttps://doi.org/10.1098/rspa.2015.0018
[35] 佩迪卡里斯,P。;Karniadakis,G.,《通过多保真贝叶斯优化进行模型反演:血流动力学及其他领域参数估计的新范式》,J.R.Soc.Interface,13,Article 20151107 pp.(2016),URLhttps://doi.org/10.1098/rsif.2015.1107
[36] 庞,G。;佩迪卡里斯,P。;蔡伟(Cai,W.)。;Karniadakis,G.,使用多保真度贝叶斯优化从现场数据中发现对流扩散方程的可变分数阶,J.Compute。物理。,348694-714(2017),网址https://doi.org/10.1016/j.jcp.2017.07.052 ·Zbl 1419.62499号
[37] 佩迪卡里斯,P。;文丘里,D。;Karniadakis,G.,《高维系统和海量数据集的多保真信息融合算法》,SIAM J.Sci。计算。,38,B521-B538(2016),网址https://doi.org/10.1137/15M1055164 ·Zbl 1342.62110号
[38] Saltelli,A。;Ratto,M。;安德烈斯,T。;Campolongo,F。;卡里博尼,J。;加泰利,D。;塞萨纳,M。;Tarantola,S.,《全球敏感性分析:入门》(2008),John Wiley&Sons·Zbl 1161.00304号
[39] 齐利维斯,P。;Ghanem,R.,通过基自适应和投影简化随机场的wiener混沌表示,J.Compute。物理。,341, 102-120 (2017) ·Zbl 1378.65038号
[40] Tsilifis,P.,legendre混沌扩展的梯度信息基自适应,J.验证,验证不确定性量化,3(2018)
[41] 皮尔逊,K.,LIII。在与空间中的点系统最接近的直线和平面上,Lond。Edinb。都柏林菲洛斯。科学杂志。,2, 559-572 (1901)
[42] 马,X。;Zabaras,N.,随机输入模型生成的核主成分分析,J.Compute。物理。,2307311-7331(2011)·Zbl 1252.65014号
[43] 君士坦丁,P。;陶氏(Dow,E.)。;Wang,Q.,《理论和实践中的主动子空间方法:克里金曲面的应用》,SIAM J.Sci。计算。,36,A1500-A1524(2014)·Zbl 1311.65008号
[44] Constantine,P.,《主动子空间:参数研究中降维的新思路》(2015),工业和应用数学学会·Zbl 1431.65001号
[45] Lam,R。;O.扎姆。;Y.Marzouk。;Willcox,K.,通过活动子空间进行多保真度降维,SIAM J.Sci。计算。,42,A929-A956(2020)·Zbl 07194366号
[46] Tripathy,R。;Bilinis,I。;Gonzalez,M.,《内置降维的高斯过程:应用于高维不确定性传播》,J.Compute。物理。,321191-223(2016),网址https://doi.org/10.1016/j.jcp.2016.05.039 ·Zbl 1349.65049号
[47] 加内特,R。;奥斯本,M。;Hennig,P.,高斯过程线性嵌入的主动学习,(人工智能不确定性会议(UAI 2014)(2014))
[48] 莫里科尼,R。;Deisenroth,M。;Kumar,K.,使用低维特征空间的高维贝叶斯优化(2019),arXiv预印本arXiv:1902.10675
[49] 佩迪卡里斯,P。;莱斯,M。;Damianou,A。;劳伦斯,N。;Karniadakis,G.,《数据高效多保真建模的非线性信息融合算法》,Proc。R.Soc.A,473,第20160751条,pp.(2017)·Zbl 1407.62252号
[50] 拜恩,S。;Girolma,M.,《埋入流形上的测地蒙特卡罗》,Scand。J.Stat.,40,825-845(2013),网址https://doi.org/10.1111/sjos.12036 ·Zbl 1349.62186号
[51] 齐利维斯,P。;Ghanem,R.,《利用测地线上的变分推理和采样对混沌表示进行贝叶斯自适应》,Proc。R.Soc.A,474,文章20180285 pp.(2018),网址https://doi.org/10.1098/rspa.2018.0285 ·Zbl 1407.62087号
[52] Le Gratiet,L.,分层多重编码的贝叶斯分析,SIAM/ASA J.不确定性。数量。,1, 244-269 (2013) ·Zbl 1280.62033号
[53] Gelman,A。;罗伯茨,G。;Gilks,W.,《高效都市跳跃规则》,贝叶斯统计,5599-608(1996)
[54] 齐利维斯,P。;欢,X。;萨夫塔,C。;Sargsyan,K。;拉卡泽,G。;Oefelein,J。;Najm,H。;Ghanem,R.,多项式混沌展开的压缩传感自适应,J.Compute。物理。,380、29-47(2019),网址https://doi.org/10.1016/j.jcp.2018.12.010 ·Zbl 1451.62032号
[55] Chaspari,T。;齐亚塔斯,A。;齐利维斯,P。;Narayanan,S.,稀疏贝叶斯近似参数字典的马尔可夫链蒙特卡罗推断,IEEE Trans。信号处理。,643077-3092(2016)·Zbl 1414.94111号
[56] Muirhead,R.,《多元统计理论方面》(第197卷)(2009年),John Wiley&Sons
[57] Girolma,M。;Calderhead,B.,黎曼流形langevin和哈密尔顿蒙特卡罗方法,J.R.Stat.Soc.Ser。B统计方法。,73、123-214(2011),网址https://doi.org/10.1111/j.1467-9868.2010.00765.x ·Zbl 1411.62071号
[58] 希区柯克,D.,《大都会黑斯廷斯算法的历史》,Amer。统计人员。,57, 254-257 (2003)
[59] Neal,R.,使用哈密顿动力学的MCMC,(马尔可夫链蒙特卡罗手册,第2卷(2011年)),2·兹比尔1229.65018
[60] Chikuse,Y.,《特殊流形统计》(第174卷)(2012年),施普林格科学与商业媒体
[61] Ghosh,S。;潘迪塔,P。;阿特金森,S。;苏伯,W。;Zhang,Y。;北卡罗来纳州库马尔。;Chakrabarti,S。;Wang,L.,工业应用贝叶斯概率建模进展,ASCE-ASME J.风险不确定性。工程系统。B、 6、3(2020年)
[62] 伯德·R。;Lu,P。;Nocedal,J。;Zhu,C.,边界约束优化的有限内存算法,SIAM J.Sci。计算。,16, 1190-1208 (1995) ·Zbl 0836.65080号
[63] Seeley,C.E。;维克兰,C。;张,X。;霍弗,D。;Ren,W.M.,《涡轮叶片颤振和气动阻尼的研究:第1部分-实验表征》,(2016年ASME涡轮博览会:涡轮机械技术会议和展览会,美国机械工程师学会(2016))
[64] Ren,W.M。;Seeley,C.E。;张,X。;米切尔,B.E。;Ju,H.,涡轮叶片颤振和气动阻尼的研究:第2部分:数值模拟,(2016年ASME涡轮博览会:涡轮机械技术会议和展览会(2016年),美国机械工程师学会)
[65] Bishop,C.,模式识别和机器学习(2006),Springer-Verlag:Springer-Verlag纽约·Zbl 1107.68072号
[66] 海尔,E。;卢比奇,C。;Wanner,G.,《几何-数值积分:常微分方程的结构保持算法》,第31卷(2006年),Springer Science&Business Media·Zbl 1094.65125号
[67] 亚伯拉罕·R。;J.马斯登。;Marsden,J.,《力学基础》(第36卷)(1978年),Benjamin/Cummings出版公司:Benjamin/Cummings出版公司,马萨诸塞州雷丁·Zbl 0393.70001号
[68] 卡特里,C。;Mardia,K.,《定向统计中的von Mises-Fisher矩阵分布》,J.R.Stat.Soc.Ser。B统计方法。,39, 95-106 (1977) ·Zbl 0356.62044号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。