×

使用高斯过程加速伪边缘MCMC。 (英语) Zbl 1469.62057号

摘要:分组独立Metropolis-Hastings(GIMH)和Metropolis中的马尔可夫链(MCWM)算法是用于在潜在变量模型中进行贝叶斯推断的伪边缘方法。这些方法用马尔可夫链蒙特卡罗算法中的无偏估计取代了难以处理的似然计算。GIMH方法的极限分布是感兴趣的后验分布,但如果计算量太大,无法获得高精度的似然估计值,则混合效果较差。MCWM算法具有更好的混合特性,但倾向于给出后验的保守近似,并且仍然是昂贵的。开发了一种新的方法,通过使用对数似然的高斯过程(GP)近似来加速GIMH方法,并使用MCWM算法的短期试运行来训练该GP。这种称为GP-GIMH的新方法以随机波动率和基因网络模型的模拟数据为例进行了说明。新方法在这些例子中产生了合理的后验近似,在计算时间上至少提高了一个数量级。实现基因网络示例方法的代码可以在http://www.runmycode.org/companion/view/2663.

MSC公司:

62-08 统计问题的计算方法
2015年1月62日 贝叶斯推断
62页第10页 统计学在生物学和医学中的应用;元分析
PDF格式BibTeX公司 XML格式引用
全文: 内政部 链接

参考文献:

[1] 阿尔基尔,P。;弗里尔,N。;埃弗里特,R。;Boland,A.,Noisy Monte Carlo:具有近似转移核的马尔可夫链的收敛性,统计计算。,26, 1, 29-47, (2016) ·Zbl 1342.60122号
[2] Andrieu,C。;Doucet,A。;Holenstein,R.,《粒子马尔可夫链蒙特卡罗方法》,J.R.Stat.Soc.Ser。B统计方法。,72, 3, 269-342, (2010) ·Zbl 1411.65020号
[3] Andrieu,C。;Roberts,G.O.,《有效蒙特卡罗计算的伪边缘方法》,《统计年鉴》。,37, 2, 697-725, (2009) ·Zbl 1185.60083号
[4] Baggaley,A.W。;男孩,R.J。;Golightly,A。;Sarson,G.R。;Shukurov,A.,《新石器时代人口动态推断》,《应用年鉴》。统计,6,4,1352-1376,(2012)·Zbl 1257.62117号
[5] Beaumont,M.A.,基因监测人群中人口增长或下降的估计,遗传学,164,3,1139-1160,(2003)
[6] 贝拉德,J。;Del Moral,P。;Doucet,A.,归一化常数粒子近似的对数正态中心极限定理,电子。J.概率。,19, 94, 1-28, (2014) ·Zbl 1308.65014号
[7] Carson,J。;十字架,M。;普雷斯顿,S。;Wilkinson,R.D.,《冰川-间冰期旋回的贝叶斯模型选择》,J.Roy。统计师。Soc.序列号。C、 (2017),(出版中)
[8] 萧邦,N。;雅各布,体育。;Papaspiliopoulos,O.,SMC({}^2):状态空间模型序列分析的有效算法,J.R.Stat.Soc.Ser。B统计方法。,75:3397-426(2013)·Zbl 1411.62242号
[9] Christen,J.A。;Fox,C.,《使用近似的马尔可夫链蒙特卡罗》,J.Compute。图表。统计人员。,14, 4, 795-810, (2005)
[10] 康拉德,P.R。;Marzouk,Y.M。;皮莱,N.S。;Smith,A.,通过局部近似加速计算密集型模型的渐近精确MCMC,J.Amer。统计师。协会,111,516,1591-1607,(2016)
[11] Doucet,A。;皮特,M.K。;Deligiannidis,G。;Kohn,R.,《使用无偏似然估计量时马尔可夫链蒙特卡罗的有效实现》,生物特征,102,2,295-313,(2015)·Zbl 1452.62055号
[12] Drovandi,C.C.,2014年。具有多个CPU的伪边缘算法,http://eprints.qut.edu.au/61505/; Drovandi,C.C.,2014年。具有多个CPU的伪边缘算法,http://eprints.qut.edu.au/61505/
[13] Drovandi,C.C。;McCutchan,R.A.,Alive SMC({}^2):具有难以处理可能性的低计数时间序列模型的贝叶斯模型选择,生物统计学,72,2,344-353,(2016)·Zbl 1419.62228号
[14] Duan,J.-C。;Fulop,A.,《密度回火边缘化顺序蒙特卡罗采样器》,J.Bus。经济。统计人员。,33, 2, 192-202, (2015)
[15] 费恩黑德,P。;贾戈斯,V。;Sherlock,C.,《使用线性噪声近似进行反应网络推断》,《生物计量学》,70,2,457-466,(2014)·Zbl 1419.62346号
[16] Goldberg,P.W。;威廉姆斯,C.K.I。;Bishop,C.M.,《输入相关噪声的回归:高斯过程处理》,(神经信息处理系统进展,第10卷,(NIPS),(1998年),麻省理工学院出版社),493-499
[17] Golightly,A。;亨德森,D.A。;Sherlock,C.,随机动力学模型中精确推断的延迟接受粒子MCMC,统计计算。,25, 5, 1039-1055, (2015) ·Zbl 1332.60117号
[18] Golightly,A。;Wilkinson,D.J.,使用扩散近似的随机动力学模型的贝叶斯推断,生物计量学,61,3781-7888,(2005)·Zbl 1079.62110号
[19] 新泽西州戈登。;萨蒙德,D.J。;Smith,A.F.M.,非线性/非高斯贝叶斯状态估计的新方法,IEE Proc。F: 雷达信号处理。,140,2107-113,(1993)
[20] Gutmann,M.U。;Corander,J.,基于仿真器的统计模型的无似然推理的贝叶斯优化,J.Mach。学习。决议,17,1,4256-4302,(2016)·Zbl 1392.62072号
[21] 亨德森,D.A。;男孩,R.J。;Krishnan,K.J。;Lawless,C。;Wilkinson,D.J.,黑质神经元线粒体DNA缺失随机计算机模型的贝叶斯模拟和校准,J.Amer。统计师。协会,104,485,76-87,(2009)·Zbl 1388.92007年
[22] 亨德森,D.A。;男孩,R.J。;Wilkinson,D.J.,使用多个数据源对随机动力学计算机模型进行贝叶斯校准,生物统计学,66,1,249-256,(2010)·Zbl 1187.62054号
[23] Holenstein,R.,《粒子马尔可夫链蒙特卡罗》(2009),不列颠哥伦比亚大学(博士论文)
[24] Järvenpää,M.、Gutmann,M.和Vehtari,A.、Marttinen,P.,2016年。估计细菌水平基因转移的近似贝叶斯计算中的高斯过程建模。arXiv:1610.06462https://arxiv.org/abs/1610.06462; Järvenpää,M.、Gutmann,M.和Vehtari,A.、Marttinen,P.,2016年。估计细菌水平基因转移的近似贝叶斯计算中的高斯过程建模。arXiv:1610.06462https://arxiv.org/abs/1610.06462
[25] M.C.肯尼迪。;O'Hagan,A.,《当快速近似可用时预测复杂计算机代码的输出》,Biometrika,87,1,1-13,(2000)·Zbl 0974.62024号
[26] M.C.肯尼迪。;O'Hagan,A.,《计算机模型的贝叶斯校准》,J.R.Stat.Soc.Ser。B统计方法。,63, 3, 425-464, (2001) ·Zbl 1007.62021号
[27] Kersting,K。;普拉格曼,C。;Pfaff,P。;Burgard,W.,《最可能的异方差高斯过程回归》,(第24届机器学习国际会议论文集,(ICML),ACM国际会议论文系列,第227卷,(2007)),393-400
[28] Medina-Aguayo,F.J。;Lee,A。;Roberts,G.O.,《喧闹都市的稳定性——黑斯廷斯》,《统计计算》。,26, 6, 1187-1211, (2016) ·兹比尔1505.62286
[29] Meeds,E.,Welling,M.,(2014)GPS-ABC:高斯过程替代近似贝叶斯计算,In:第30届人工智能不确定性会议论文集,加拿大魁北克市,第593-602页。;Meeds,E.,Welling,M.,(2014)GPS-ABC:高斯过程替代近似贝叶斯计算,In:第30届人工智能不确定性会议论文集,阿联酋,魁北克市,加拿大,第593-602页。
[30] 普卢默,M。;贝斯特,N。;Cowles,K。;Vines,K.,CODA:MCMC的收敛诊断和输出分析,R News,6,1,7-11,(2006),URLhttp://CRAN.R-project.org/doc/Rnews/
[31] 价格,L.F。;Drovandi,C.C。;Lee,A。;诺特,D.J.,贝叶斯综合似然,J.计算。图表。统计人员。,(2017)
[32] Rasmussen,C.E.,高斯过程加速昂贵贝叶斯积分的混合蒙特卡罗,(Bernardo,J.;Bayarri,M.;Berger,J.、Dawid,A.;Heckerman,D.;Smith,A.;West,M.,贝叶斯统计,第7卷,(2003)),651-659
[33] 拉斯穆森,C.E。;Williams,C.K.I.,《机器学习的高斯过程》(2006),麻省理工学院剑桥出版社·Zbl 1177.68165号
[34] 夏洛克,C。;Golightly,A。;Henderson,D.A.,《针对高风险目标的自适应延迟接受MCMC》,J.Compute。图表。统计人员。,26, 2, 434-444, (2017)
[35] Tran,M.-N。;诺特·D·J。;Kohn,R.,《具有难以处理的可能性的变分贝叶斯》,J.Compute。图表。统计人员。,(2017),(出版中)
[36] Tran,M.-N.,Scharth,M.,Pitt,M.K.,Kohn,R.,2014年。潜在变量模型中贝叶斯推断的重要性抽样平方。可从SSRN 2386371获取。;Tran,M.-N.,Scharth,M.,Pitt,M.K.,Kohn,R.,2014年。潜在变量模型中贝叶斯推断的重要性抽样平方。可从SSRN 2386371获取。
[37] Wilkinson,R.,《使用高斯过程加速ABC方法》,J.Mach。学习。决议,33,1015-1023,(2014)
[38] Wood,S.N.,噪声非线性生态动力系统的统计推断,《自然》,4661102-1107,(2010)
[39] 张,C。;Shahbaba,B。;Zhao,H.,基于参数空间正则性的哈密顿蒙特卡罗方法的预计算策略,计算。统计人员。,32, 1, 253-279, (2017) ·Zbl 1417.65018号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。