×

改进的Cholesky-Riemann流形Hamiltonian Monte Carlo:利用稀疏性快速采样高维目标。 (英语) Zbl 1384.65005号

概述:黎曼流形哈密顿蒙特卡罗(RMHMC)具有生成高质量马尔可夫链蒙特卡罗输出的潜力,即使对于非常具有挑战性的目标分布也是如此。为此,提出了一种对称正定定标度矩阵。通过将修正的Cholesky因子分解应用于目标对数密度的潜在不确定负Hessian,来获得缩放矩阵。该方法能够利用基于条件独立建模假设的Hessian稀疏性,从而允许快速实现RMHMC,即使对于高维目标分布也是如此。此外,该方法可以利用贝叶斯层次模型中经常遇到的对数压缩条件目标密度,实现更快的采样和更直接的调整。将所提出的方法与一些具有挑战性的目标的替代方案进行了比较,并通过将状态空间模型应用于实际数据进行了说明。

MSC公司:

65二氧化碳 蒙特卡罗方法
60J22型 马尔可夫链中的计算方法
2015年1月62日 贝叶斯推断
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] 阿伊特·萨哈利亚,Y.:测试即期利率的连续时间模型。财务版次。螺柱9(2),385-426(1996)·doi:10.1093/rfs/9.2.385
[2] Andrieu,C.,Doucet,A.,Holenstein,R.:粒子马尔可夫链蒙特卡罗方法。J.R.Stat.Soc.系列。B(Stat.Methodol.)72(3),269-342(2010)·Zbl 1184.65001号 ·文件编号:10.1111/j.1467-9868.2009.00736.x
[3] Beskos,A.、Pillai,N.、Roberts,G.、Sanz-Serna,J.-M、Stuart,A.:混合蒙特卡罗算法的优化调整。伯努利19(5A),1501-1534(2013)·Zbl 1287.60090号 ·文件编号:10.3150/12-BEJ414
[4] 贝当古,M。;Nielsen,F.(编辑);Barbaresco,F.(ed.),黎曼流形Hamilton Monte Carlo的一般度量,第8085、327-334号(2013),柏林·Zbl 1406.65004号
[5] Betancourt,M.:在哈密顿蒙特卡罗中确定最佳积分时间。arXiv:1601.00225(2016)·Zbl 0979.62075号
[6] Betancourt,M.、Byrne,S.、Livingstone,S.和Girolma,M.:哈密尔顿蒙特卡罗的几何基础。伯努利23(4A),2257-2298(2017)。doi:10.3150/16-BEJ810·Zbl 1380.60070号 ·doi:10.3150/16-BEJ810
[7] M.J.Betancourt:将No-u-turn采样器推广到黎曼流形。arXiv:1304.1920(2013年b)
[8] Betancourt,M.J.,Girolama,M.:层次模型的哈密顿蒙特卡罗。arXiv:1312.0906(2013年)
[9] Calderhead,B.:Metropolis-Hastings算法并行化的一般结构。《国家科学院院刊》111(49),17408-17413(2014)·文件编号:10.1073/pnas.1408184111
[10] Carpenter,B.、Gelman,A.、Hoffman,M.、Lee,D.、Goodrich,B.、Betancourt,M.和Brubaker,M.,Guo,J.、Li,P.、Riddell,A.:Stan:概率编程语言。J.统计软件。76(1),1-32(2017)·doi:10.18637/jss.v076.i01
[11] Chan,K.C.,Karolyi,G.A.,Longstaff,F.A.,Sanders,A.B.:短期利率替代模型的实证比较。《金融杂志》47(3),1209-1227(1992)·doi:10.1111/j.1540-6261.1992.tb04011.x
[12] Davis,T.A.:稀疏线性系统的直接方法。In:算法基础2。美国宾夕法尼亚州费城工业和应用数学学会(2006)·Zbl 1119.65021号
[13] Duane,S.、Kennedy,A.、Pendleton,B.J.、Roweth,D.:混合蒙特卡罗。物理学。莱特。B 195(2),216-222(1987)·doi:10.1016/0370-2693(87)91197-X
[14] Flury,T.,Shephard,N.:仅基于模拟可能性的贝叶斯推断:动态经济模型的粒子滤波分析。经济。理论27(特刊05),933-956(2011)·Zbl 1226.62021号 ·doi:10.1017/S0266466610000599
[15] Gelman,A.,Carlin,J.B.,Stern,H.S.,Dunson,D.B.,Vehtari,A.,Rubin,D.:贝叶斯数据分析,第三版。CRC出版社,博卡拉顿(2014)·Zbl 1279.62004号
[16] Geweke,J.,Tanizaki,H.:非线性和非高斯状态空间模型的马尔可夫链蒙特卡罗方法。Commun公司。统计模拟。计算。28(4), 867-894 (1999) ·Zbl 0968.62541号 ·doi:10.1080/03610919908813583
[17] Geweke,J.,Tanizaki,H.:关于Metropolis-Hastings算法的采样分布的注释。Commun公司。统计理论方法32(4),775-789(2003)·Zbl 1183.62047号 ·doi:10.1081/STA-120018828
[18] Geyer,C.J.:实用马尔可夫链蒙特卡罗。统计科学。7(4), 473-483 (1992) ·Zbl 0085.18501号 ·doi:10.1214/ss/117701137
[19] Gill,P.,Murray,W.:无约束和线性约束优化的Newton型方法。数学。程序。7, 311-350 (1974) ·Zbl 0297.90082号 ·doi:10.1007/BF01585529
[20] Gill,P.E.,Murray,W.,Wright,M.H.:实用优化。伦敦学术出版社(1981)·Zbl 0503.90062号
[21] Girolami,M.,Calderhead,B.:黎曼流形Langevin和哈密顿蒙特卡罗方法。J.R.Stat.Soc.系列。B(Stat.Methodol.)73(2),123-214(2011)·Zbl 1411.62071号 ·文件编号:10.1111/j.1467-9868.2010.00765.x
[22] Golub,G.H.,van Loan,C.F.:《矩阵计算》,第三版。约翰·霍普金斯大学出版社,巴尔的摩(1996)·Zbl 0865.65009号
[23] Griewank,A.:评估衍生品:算法区分的原理和技术。SIAM,费城(2000)·Zbl 0958.65028号
[24] Grothe,O.,Kleppe,T.S.,Liesenfeld,R.:状态空间模型的Gibbs采样器,具有粒子效率重要性采样。arXiv:1601.01125(2016)·Zbl 1490.62080号
[25] Guerrera,T.,Rue,H.,Simpson,D.:Girolma和Calderhead对Riemann流形Langevin和Hamilton Monte Carlo的讨论。J.R.Stat.Soc.系列。B(Stat.Methodol.)73(2),123-214(2011)·Zbl 1411.62071号 ·文件编号:10.1111/j.1467-9868.2010.00765.x
[26] Haario,H.,Saksman,E.,Tamminen,J.:随机行走大都会算法的自适应建议分布。计算。《美国联邦法律大全》第14(3)卷,第375-395页(1999年)·Zbl 0941.62036号 ·doi:10.1007/s001800050022
[27] Hoffman,M.D.,Gelman,A.:无回转取样器:在哈密顿蒙特卡罗中自适应设置路径长度。J.马赫。学习。第15号决议,1593-1623(2014)·Zbl 1319.60150号
[28] 右霍根。J.:使用C++中的表达式模板进行快速反向模式自动区分。ACM事务处理。数学。柔和。40(4), 26:1-26:16 (2014) ·Zbl 1369.65037号 ·数字对象标识代码:10.1145/2560359
[29] Jasra,A.,Singh,S.:Girolma和Calderhead对Riemann流形Langevin和Hamilton Monte Carlo的讨论。J.R.Stat.Soc.系列。B(Stat.Methodol.)73(2),123-214(2011)·Zbl 1411.62071号 ·文件编号:10.1111/j.1467-9868.2010.00765.x
[30] Kleppe,T.S.:基于Hessian的流形Langevin采样器的自适应步长选择。扫描。《J Stat.43(3)》,788-805(2016)·Zbl 1468.62435号 ·doi:10.1111/sjos.12204
[31] Kristensen,K.,Nielsen,A.,Berg,C.,Skaug,H.,Bell,B.:Tmb:自动微分和拉普拉斯近似。J.统计软件。70(1), 1-21 (2016)
[32] Lan,S.,Stathopoulos,V.,Shahbaba,B.,Girolma,M.:拉格朗日动力学中的马尔可夫链蒙特卡罗。J.计算。图表。Stat.24(2),357-378(2015)·doi:10.1080/10618600.2014.902764
[33] Leimkuhler,B.,Reich,S.:模拟哈密顿动力学。剑桥大学出版社,剑桥(2004)·Zbl 1069.65139号
[34] Lindgren,F.,Rue,H.,Lindström,J.:高斯场和高斯-马尔可夫随机场之间的明确联系:随机偏微分方程方法。J.R.Stat.Soc.系列。B 73(4),423-498(2011)·Zbl 1274.62360号 ·文件编号:10.1111/j.1467-9868.2011.00777.x
[35] Lindsten,F.、Jordan,M.I.、Schön,T.B.:具有祖先采样的粒子吉布斯。J.马赫。学习。第15号决议,2145-2184(2014年)·兹伯利1319.60151
[36] Liu,J.S.:科学计算中的蒙特卡罗策略。统计学中的斯普林格系列。施普林格,柏林(2001)·Zbl 0991.65001号
[37] Mannseth,J.,Kleppe,T.S.,Skaug,H.J.:关于改进辛积分器在哈密顿蒙特卡罗中的应用。Commun公司。统计模拟。计算。1-10 (2017). doi:10.1080/03610918.2017.1283703·Zbl 1446.65200号
[38] Martin,J.,Wilcox,L.,Burstede,C.,Ghattas,O.:大规模统计反演问题的随机牛顿MCMC方法及其在地震反演中的应用。SIAM J.科学。计算。34(3),A1460-A1487(2012)·Zbl 1250.65011号 ·数字对象标识代码:10.1137/10845598
[39] Neal,R.M.:神经网络的贝叶斯学习。统计学课堂讲稿中的第118位。施普林格,柏林(1996)·Zbl 0888.62021号 ·doi:10.1007/978-1-4612-0745-0
[40] Neal,R.M.:切片取样。Ann.Stat.31(3),705-767(2003)·Zbl 1051.65007号 ·doi:10.1214/aos/1056562461
[41] Neal,R.M.:使用哈密顿动力学的MCMC。摘自:Brooks,S.、Gelman,A.、Jones,G.和Meng,X.-L.(编辑)《马尔可夫链蒙特卡洛手册》,第113-162页。查普曼和霍尔/CRC,博卡拉顿(2010)·Zbl 1229.65018号
[42] Nocedal,J.、Wright,S.J.:数值优化。柏林施普林格(1999)·Zbl 0930.65067号 ·数字对象标识代码:10.1007/b98874
[43] Pitt,M.K.,dos Santos Silva,R.,Giordani,P.,Kohn,R.:基于粒子滤波的马尔可夫链蒙特卡罗模拟方法的一些特性。《经济学杂志》。171(2), 134-151 (2012) ·Zbl 1443.62499号 ·doi:10.1016/j.jeconom.2012.06.004
[44] Qi,Y.和Minka,T.P.:基于Hessian的马尔可夫链蒙特卡罗算法。未出版手稿(2002年)。https://www.cs.purdue.edu/home/alanqi/papers/qi-minka-HMH-AMIT-02.pdf
[45] Robert,C.P.,Casella,G.:蒙特卡洛统计方法,第二版。施普林格,柏林(2004)·Zbl 1096.62003年 ·数字对象标识代码:10.1007/978-1-4757-4145-2
[46] Roberts,G.,Stramer,O.:朗之万扩散和大都会黑斯廷斯算法。Methodol公司。计算。申请。普罗巴伯。4(4), 337-357 (2002) ·Zbl 1033.65003号 ·doi:10.1023/A:1023562417138
[47] Rue,H.:高斯马尔可夫随机场的快速采样。J.R.Stat.Soc.系列。B(Stat.Methodol.)63(2),325-338(2001)·兹比尔0979.62075 ·doi:10.1111/1467-9868.00288
[48] Rue,H.,Held,L.:高斯马尔可夫随机场:理论与应用。查普曼和霍尔CRC出版社,博卡拉顿(2005)·邮编1093.60003 ·doi:10.1201/9780203492024
[49] Rue,H.,Martino,S.,Chopin,N.:使用集成嵌套拉普拉斯近似对潜在高斯模型进行近似贝叶斯推断。J.R.Stat.Soc.系列。B(Stat.Methodol.)71(2),319-392(2009)·Zbl 1248.62156号 ·doi:10.1111/j.1467-9868.2008.00700.x
[50] Sanz Serna,J.M.:Girolami和Calderhead对黎曼流形Langevin和哈密顿蒙特卡罗的讨论。J.R.Stat.Soc.系列。B(Stat.Methodol.)73(2),123-214(2011)·Zbl 1411.62071号 ·文件编号:10.1111/j.1467-9868.2010.00765.x
[51] Scharth,M.,Kohn,R.:粒子效率重要性抽样。《经济学杂志》。190(1), 133-147 (2016) ·Zbl 1419.62247号 ·doi:10.1016/j.jeconom.2015.03.047
[52] Schnabel,R.,Eskow,E.:一种新的改良Cholesky因子分解。SIAM J.科学。统计计算。11(6), 1136-1158 (1990) ·Zbl 0716.65023号 ·数字对象标识代码:10.1137/0911064
[53] Schnabel,R.,Eskow,E.:修正的Cholesky因式分解算法。SIAM J.Optim公司。9(4), 1135-1148 (1999) ·Zbl 0958.65034号
[54] Shephard,N.,Pitt,M.K.:非高斯测量时间序列的可能性分析。《生物特征》84,653-667(1997)·Zbl 0888.62095号 ·doi:10.1093/biomet/84.3.653
[55] Skaug,H.,Fournier,D.:非高斯层次模型中边际似然的自动近似。计算。统计数据分析。56, 699-709 (2006) ·Zbl 1157.65317号 ·doi:10.1016/j.csda.2006.03.005
[56] Xifara,T.、Sherlock,C.、Livingstone,S.、Byrne,S.和Girolma,M.:朗之万扩散和大都会调整的朗之万算法。统计概率。莱特。91, 14-19 (2014) ·Zbl 1298.60081号 ·doi:10.1016/j.spl.2014.04.002
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。