×

贝叶斯推理高斯过程代理模型的迭代构造。 (英语) Zbl 1437.62105号

摘要:开发了一种新的算法来解决贝叶斯反问题的解产生的非高斯模型参数后验概率分布的采样问题。该算法旨在通过构造建议概率密度来缓解传统马尔可夫链蒙特卡罗(MCMC)采样器面临的一些障碍,该概率密度易于采样,并且比简单的高斯建议分布更接近目标密度。为了实现这一点,使用高斯过程(GP)曲面增强高斯建议分布,该曲面有助于捕获对数似然函数中的非线性。为了训练GP曲面,采用迭代方法在参数空间中进行点的优化选择。通过使用最少的正向模型模拟运行次数最大化GP曲面的信息增益来寻求最佳性。通过两种方式评估GP-增强曲面近似的精度。第一种方法是将从近似曲面获得的预测与通过在参数空间中的保持点运行实际仿真模型获得的预测进行比较。第二种方法由基于样本权重相对方差的度量组成,样本权重通过对模型参数的近似后验概率分布进行采样而获得。在模拟燃烧应用中的理想反应网络的三节点和六节点网络玩具问题中,通过推断反应速率参数来测试此新算法的有效性。

MSC公司:

2015年1月62日 贝叶斯推断
60G15年 高斯过程
68T05型 人工智能中的学习和自适应系统
第60页 统计学在工程和工业中的应用;控制图
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] 阿普特、阿米特;马丁·海勒(Martin Hairer);Stuart,A.M。;Voss,Jochen,《后验抽样:非高斯数据同化方法》,Physica D,230,1-2,50-64(2007)·Zbl 1113.62026号
[2] Arridge,S.R。;凯皮奥,J.P。;Kolehmainen,V.公司。;施威格,M。;萨默萨罗,E。;Tarvainen,T。;Vauhkonen,M.,光学扩散层析成像中应用的近似误差和模型简化,反问题,22,1,175(2006)·Zbl 1138.65042号
[3] J.B.M.B.J.伯杰。;Dawid,A。;史密斯,D.H.A。;West,M.,《计算密集型逆问题中基于马尔可夫链蒙特卡罗的推理方法》(Bayesian Statistics 7:第七届巴伦西亚国际会议论文集(2003),牛津大学出版社),181
[4] 伊利亚斯·比利奥尼斯;尼古拉斯·扎巴拉斯;布莱达尔·科诺米(Bledar A.Konomi)。;Lin,Guang,《多输出可分离高斯过程:走向不确定性量化的有效、完全贝叶斯范式》,J.Compute。物理。,241, 212-239 (2013) ·Zbl 1349.76760号
[5] 布莱特,B.J.N。;Ott,L.,《多项式回归模型不足的贝叶斯方法》,Biometrika,62,1,79-88(1975)·Zbl 0308.62062号
[6] Bui-Thanh,Tan;凯伦·威尔科克斯;Ghattas,Omar,具有高维参数输入空间的大型系统的模型简化,SIAM J.Sci。计算。,30, 6, 3270-3288 (2008) ·Zbl 1196.37127号
[7] Bui-Thanh,Tan;凯伦·威尔科克斯;Ghattas,Omar,非定常气动应用概率分析的参数降阶模型,AIAA J.,46,10,2520-2529(2008)
[8] Daniel Busby,高斯过程模拟器的分层自适应实验设计,Reliab。工程系统。安全。,94,7,1183-1193(2009),敏感性分析专刊
[9] 蔡波;雷娜特·梅耶(Renate Meyer);Perron,François,Metropolis-hastings算法与自适应建议,统计计算。,18, 4, 421-433 (2008)
[10] Christen,J.Andrés;Fox,Colin,《使用近似的马尔可夫链蒙特卡罗》,J.Compute。图表。《统计》,第14、4、795-810页(2005年)
[11] Christen,J.Andrés;Fox,Colin,连续分布的通用采样算法(t-walk),贝叶斯分析。,5,2263-281(2010年)·Zbl 1330.62007
[12] 克里斯滕,J.安德斯;Sans,Bruno,《基于主动学习的计算机实验序列设计进展》,统计学通讯。理论方法,40,24,4467-4483(2011)·Zbl 1318.62264号
[13] Cohn,David A.,使用优化实验设计进行神经网络探索,神经网络。,9, 6, 1071-1083 (1996)
[14] Cohn,David A.,通过查询最小化统计偏差,(神经信息处理系统进展(1997)),417-423
[15] 科恩(David A.Cohn)。;Ghahramani,Zoubin;Jordan,Michael I.,《利用统计模型进行主动学习》,J.Artif。因特尔。决议,4129-145(1996)·Zbl 0900.68366号
[16] 帕特里克·R·康拉德(Patrick R.Conrad)。;尤塞夫·M·马尔祖。;Natesh S.皮莱。;Smith,Aaron,通过局部近似加速计算密集型模型的渐近精确mcmc,J.Amer。统计师。协会,111,516,1591-1607(2016)
[17] 崔天刚;科迪·J·H·劳。;Youssef M.Marzouk,《独立维度》,类似于知情的mcmc,J.Compute。物理。,304, 109-137 (2016) ·Zbl 1349.65009号
[18] Carla Currin,《计算机实验设计和分析的贝叶斯方法》(1988),ORNL橡树岭国家实验室(美国)
[19] 卡拉·柯林;托比·米切尔;马克斯·莫里斯;Ylvisaker,Don,《确定性函数的贝叶斯预测及其在计算机实验设计和分析中的应用》,J.Amer。统计师。协会,86,416,953-963(1991)
[20] 保罗·多斯特尔(Paul Dostert);叶尔钦·伊芬迪耶夫;Hou,Thomas Y。;Luo,Wuan,动态数据集成和不确定性量化的粗粒度langevin算法,J.Compute。物理。,217, 1, 123-142 (2006) ·Zbl 1146.76637号
[21] 叶尔钦·伊芬迪耶夫;Hou,Thomas;Luo,Wuan,使用粗尺度模型预处理马尔可夫链蒙特卡罗模拟,SIAM J.Sci。计算。,28, 2, 776-803 (2006) ·Zbl 1111.65003号
[22] El Moselhy,塔里克·A。;Marzouk,Youssef M.,最优映射的贝叶斯推理,计算机J。物理。,231237815-7850(2012年)·Zbl 1318.62087号
[23] 费多罗夫,瓦列里·瓦迪莫维奇,最佳实验理论(1972),爱思唯尔
[24] 丹尼尔·马基领班;大卫·W·霍格(David W.Hogg)。;朗,达斯汀;乔纳森·古德曼(Jonathan Goodman),主持人:《麦克麦克锤子》(the mcmc hammer),Publ。阿童木。Soc.Pac.公司。,125, 925, 306 (2013)
[25] 约翰·盖韦克(John Geweke);Tanizaki,Hisashi,《非线性和非高斯状态空间模型的马尔可夫链蒙特卡罗方法》,Comm.Statist。模拟计算。,28, 4, 867-894 (1999) ·Zbl 0968.62541号
[26] 罗杰·加尼姆。;Spanos,Pol D.,《随机有限元方法:响应统计》,(随机有限元:谱方法(1991),Springer),101-119·Zbl 0722.73080号
[27] 吉尔克斯,W.R。;贝斯特,N.G。;Tan,K.K.C.,吉布斯抽样中的自适应拒绝大都会抽样,J.R.Stat.Soc.Ser。C.申请。Stat.,44,4,455-472(1995)·Zbl 0893.62110号
[28] Mark Girolma;Calderhead,Ben,Riemann流形langevin和哈密尔顿蒙特卡罗方法,J.R.Stat.Soc.Ser。B统计方法。,73, 2, 123-214 (2011) ·Zbl 1411.62071号
[29] 乔纳森·古德曼;Jonathan Weare,《具有仿射不变性的集合采样器》,Commun。申请。数学。计算。科学。,5, 1, 65-80 (2010) ·Zbl 1189.65014号
[30] Gramacy,罗伯特·B。;Apley,Daniel W.,大型计算机实验的局部高斯过程近似,J.Compute。图表。统计人员。,24, 2, 561-578 (2015)
[31] Gramacy,罗伯特·B。;Lee,Herbert K.H.,贝叶斯树高斯过程模型及其在计算机建模中的应用,J.Amer。统计师。协会,103,483,1119-1130(2008)·Zbl 1205.62218号
[32] Gramacy,罗伯特·B。;Lee,Herbert K.H.,超级计算机实验的自适应设计和分析,《技术计量学》,51,2,130-145(2009)
[33] Gramacy,罗伯特·B。;Lee,Herbert K.H。;Macready,William G.,使用高斯过程树进行参数空间探索,(第二十届第一届机器学习国际会议论文集(2004),ACM),45
[34] Haario,Heikki;莱恩,马尔科;安东尼埃塔,米拉;Saksman,Eero,Dram:高效自适应mcmc,Stat.Comput。,16, 4, 339-354 (2006)
[35] 萨勒曼哈比卜;凯特琳·海特曼;大卫·希格顿(David Higdon);查尔斯·纳赫勒;威廉姆斯,布莱恩,《宇宙校准:物质功率谱和宇宙微波背景的限制》,《物理学》。版本D,76,8,083503(2007)
[36] 凯特琳·海特曼;怀特,马丁;克里斯蒂安·瓦格纳(Christian Wagner);哈比卜、萨勒曼;希格顿,大卫,《狼的宇宙》。i.非线性物质功率谱的精确测定,天体物理学。J.,715,1,104(2010)
[37] 戴夫·希格顿(Dave Higdon);詹姆斯·盖蒂克(James Gattiker);布莱恩·威廉姆斯;Rightley,Maria,《使用高维输出进行计算机模型校准》,J.Amer。统计师。协会,103,482,570-583(2008)·Zbl 1469.62414号
[38] 马可·伊格莱西亚斯(Marco Iglesias);Stuart,Andrew M.,《逆向问题和不确定性量化》,SIAM News,7/8月(2014)
[39] 唐纳德·琼斯(Donald R.Jones)。;肖恩劳,马提亚斯;William J.Welch,《昂贵黑盒函数的高效全局优化》,J.Glob。优化。,13, 4, 455-492 (1998) ·Zbl 0917.90270号
[40] 柯蒂瓦桑·坎达萨米;杰夫•施耐德;Póczos,Barnabás,《通过贝叶斯主动学习查询科学实验中的有效后验估计》,人工智能,24345-56(2017)·Zbl 1402.62044号
[41] 马克·肯尼迪(Marc C.Kennedy)。;克莱夫·安德森。;斯特凡诺·孔蒂;安东尼·奥哈根(Anthony O’Hagan),计算机代码高斯过程建模案例研究,Reliab。工程系统。安全。,91, 10-11, 1301-1309 (2006)
[42] 马克·肯尼迪(Marc C.Kennedy)。;安东尼·奥哈根,《计算机模型的贝叶斯校准》,J.R.Stat.Soc.Ser。B统计方法。,63, 3, 425-464 (2001) ·Zbl 1007.62021号
[43] Koehler,J.R。;欧文,A.B.,9个计算机实验,Handb。统计人员。,13261-308(1996年)·兹比尔0919.62089
[44] Olivier Le Maétre;Knio,Omar M.,《不确定性量化的光谱方法:在计算流体动力学中的应用》(2010),施普林格科学与商业媒体·Zbl 1193.76003号
[45] 麦凯,大卫·J·C。,《主动数据选择的基于信息的目标函数》,神经计算。,4, 4, 590-604 (1992)
[46] David J.C.MacKay,《高斯过程简介》,北约ASI F系列计算。系统。科学。,168, 133-166 (1998) ·Zbl 0936.68081号
[47] 詹姆斯·马丁;卢卡斯·威尔科克斯。;卡斯滕·伯斯特德;Ghattas,Omar,《大规模统计反演问题的随机牛顿mcmc方法及其在地震反演中的应用》,SIAM J.Sci。计算。,34、3、A1460-A1487(2012)·兹比尔1250.65011
[48] 卢卡·马蒂诺;罗伯托·卡萨林;Lesen,Fabrizio;Luengo,David,自适应独立粘性mcmc算法,EURASIP J.Adv.Signal Process。,2018, 1, 5 (2018)
[49] 马丁诺。;里德·J。;Luengo,D.,吉布斯采样中的独立双自适应抑制大都会采样,IEEE Trans。信号处理。,63, 12, 3123-3138 (2015) ·Zbl 1394.94828号
[50] 马丁诺。;Vicent,J。;Camps-Valls,G.,辐射传输模型的自动仿真器和优化查找表生成,(2017 IEEE国际地球科学和遥感研讨会(IGARSS)(2017)),1457-1460
[51] 尤塞夫·M·马尔祖。;Najm,Habib N。;Rahn,Larry A.,反问题有效贝叶斯解的随机谱方法,J.Compute。物理。,224, 2, 560-586 (2007) ·Zbl 1120.65306号
[52] 雷娜特·梅耶(Renate Meyer);蔡波;Perron,Franois,使用拉格朗日插值多项式的自适应拒绝大都会采样,计算。统计师。数据分析。,52, 7, 3408-3423 (2008) ·Zbl 1452.62099号
[53] Max D.莫里斯。;托比·J·米切尔。;Ylvisaker,Donald,《计算机实验的贝叶斯设计和分析:导数在表面预测中的应用》,《技术计量学》,35,3,243-255(1993)·Zbl 0785.62025号
[54] 马提亚斯·莫兹菲尔德;Day,马库斯·S。;灌浆,Ray W。;保罗(George Shu Heng);斯特凡·芬斯特尔(Stefan A.Finsterle)。;Bell,John B.,用于参数估计的迭代重要性采样算法,SIAM J.Sci。计算。(2018年)·Zbl 1385.65007号
[55] Narayanan、Velamur Asokan Badri;Zabaras,Nicholas,使用光谱方法的随机逆热传导,国际。J.数字。方法工程,60,9,1569-1593(2004)·邮编1098.80008
[56] Neal,Radford M.,Mcmc使用哈密顿动力学,Handb。马尔可夫链蒙特卡罗,2,11(2011)·Zbl 1229.65018号
[57] 杰里米·奥克利;安东尼·奥哈根(Anthony O'hagan),计算机模型输出不确定性分布的贝叶斯推断,生物统计学,89,4,769-784(2002)
[58] OHagan,A.,《计算机代码输出的贝叶斯分析:教程》,Reliab。工程系统。安全。,91、10、1290-1300(2006),第四届模型输出敏感性分析国际会议(SAMO 2004)
[59] 安东尼·奥哈根;Kingman,John Frank Charles,预测曲线拟合和优化设计,J.R.Stat.Soc.Ser。B统计方法。,1-42 (1978) ·Zbl 0374.62070号
[60] 格哈德·帕斯;Kindermann,Jörg,神经网络模型的贝叶斯查询构造,(神经信息处理系统进展(1995)),443-450
[61] 马修·帕诺(Matthew D.Parno)。;Marzouk,Youssef M.,运输图加速马尔可夫链蒙特卡罗,SIAM/ASA J.不确定性。数量。,6, 2, 645-682 (2018) ·Zbl 1394.65004号
[62] 罗兰德·普劳斯;von Toussaint,Udo,使用基于高斯过程的贝叶斯代理的全局优化,熵,20,3,201(2018)
[63] Rasmussen,Carl E.,高斯过程加速昂贵贝叶斯积分的混合蒙特卡罗(2003)
[64] 卡尔·爱德华·拉斯穆森;Williams,Christopher K.I.,《机器学习的高斯过程》(2006),麻省理工学院出版社·Zbl 1177.68165号
[65] 罗伯茨(Gareth O.Roberts)。;Tweedie,Richard L.,langevin分布及其离散近似的指数收敛性,Bernoulli,2,4,341-363(1996)·Zbl 0870.60027号
[66] Gianluigi Rozza;Huynh、Dinh Bao Phuong;Patera,Anthony T.,仿射参数化椭圆强制偏微分方程的约化基近似和后验误差估计,Arch。计算。方法工程,15,3,1(2007)
[67] 杰罗姆·萨克斯(Jerome Sacks);威廉·J·韦尔奇。;托比·J·米切尔。;Wynn,Henry P.,《计算机实验的设计与分析》,统计科学。,409-423 (1989) ·Zbl 0955.62619号
[68] 马提亚斯·西格(Matthias Seeger);克里斯托弗·威廉姆斯;Lawrence,Neil,加速稀疏高斯过程回归的快进选择,人工制品。因特尔。Stat.,9(2003),编号EPFL-CONF-161318
[69] Seo、Sambu;马可·瓦拉特;格雷佩尔、托尔;Obermayer,Klaus,高斯过程回归:主动数据选择和测试点剔除,(Mustererkennung 2000(2000),Springer),27-34
[70] 邵伟;郭光宝;孟、番禺;贾淑琴,使用b样条技术的大城市有效建议分布,计算。统计师。数据分析。,57, 1, 465-478 (2013) ·Zbl 1365.65026号
[71] 阿尔伯特·塔兰托拉,《模型参数估计的反问题理论和方法》,第89卷(2005),暹罗·Zbl 1074.65013号
[72] 塔兰托拉、阿尔伯特、波普尔、贝叶斯和反问题,《自然物理学》,第2、8、492页(2006年)
[73] 埃里克·范登·伊恩登(Eric Vanden-Eijnden);Weare,Jonathan,低噪声状态下的数据同化及其在黑潮中的应用,Mon。《天气评论》,141、6、1822-1841(2013)
[74] 王、郑;严水成;张长水,自适应正则化主动学习,模式识别。,44,10,2375-2383(2011),《视觉内容分析和理解的半监督学习》·Zbl 1218.68137号
[75] 王京波;Zabaras,Nicholas,《使用贝叶斯统计法估算辐射热源》,《国际热质传递杂志》,48,1,15-29(2005)·Zbl 1122.80307号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。