×

设计简单高效的马尔可夫链蒙特卡罗建议内核。 (英语) Zbl 1407.60103号

总结:我们讨论了一些原则,以指导有效的Metropolis-Hastings方案的设计,以实现性能良好的目标分布,而无需进行深入的模式划分。我们通过使用各种目标分布开发和评估新的建议内核来说明它们。这里,效率是通过相对于独立采样器的方差比来衡量的。第一个原则是在MCMC样本中引入负相关或减少正相关:提出新的东西,提出不同的东西。这就解释了为什么高斯随机游走等单模方案不如均匀随机游走,而均匀随机游动又不如避免数值非常接近当前值的双模方案。我们评估了三个新的双模方案,分别称为Box、Airplane和StrawHat,发现它们的性能与早期的Bactrian内核类似,这表明方案的总体形状很重要,但具体的分布形式并不重要。我们提出了“镜像”内核,它围绕目标分布另一侧的当前值的镜像生成新值(实际上是当前值的“相反”)。这引入了负相关性,在许多情况下导致效率为(>100\%\)。第二个原则适用于多维目标,即一系列精心设计的一维提案可能比一维提案更有效率。第三,我们建议将变量转换作为设计高效MCMC内核的通用策略。我们将这些原理应用于具有强相关性的高维高斯目标、逻辑回归问题和分子钟定年问题,以说明它们的实用性。

MSC公司:

60J22型 马尔可夫链中的计算方法
65二氧化碳 蒙特卡罗方法

软件:

坚果斯坦
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] Adler,S.L.(1981)。《多平方作用配分函数蒙特卡罗评估的过度松弛方法》,《物理评论》。D.粒子与场,23:2901-2904。
[2] Barone,P.和Frigessi,A.(1990年)。“改进高斯随机场的随机松弛”,《工程和信息科学中的概率》,4(3):369–389·Zbl 1134.60347号 ·网址:10.1017/S0269964800001674
[3] Bédard,M.、Douc,R.和Moulines,E.(2012年)。“多重尝试MCMC方法的标度分析”,随机过程及其应用,122(3):758–786·Zbl 1239.60075号 ·doi:10.1016/j.spa.2011.11.004
[4] Bédard,M.、Douc,R.和Moulines,E.(2014)。“延迟拒绝MCMC方法的尺度分析”,《应用概率的方法与计算》,16(4):811-838·Zbl 1323.65001号 ·doi:10.1007/s11009-013-9326-y
[5] Beskos,A.、Pillai,N.、Roberts,G.、Sanz-Serna,J.-M.和Stuart,A.(2013)。“混合蒙特卡罗算法的最佳调整”,伯努利,19(5A):1501–1534·Zbl 1287.60090号 ·文件编号:10.3150/12-BEJ414
[6] Beskos,A.、Roberts,G.和Stuart,A.(2009年)。“高维非产品目标上本地Metropolis-Hastings链的最优缩放”,《应用概率年鉴》,19(3):863-898·Zbl 1172.60328号 ·doi:10.1214/08-AAP563
[7] Browne,W.J.(2006)。“约束方差矩阵的MCMC算法”,《计算统计与数据分析》,50(7):1655-1677·Zbl 1445.62048号 ·doi:10.1016/j.csda.2005.02.008
[8] Carpenter,B.、Gelman,A.、Hoffman,M.、Lee,D.、Goodrich,B.、Betancourt,M.和Brubaker,M.,Guo,J.、Li,P.和Riddell,A.(2017年)。“斯坦:一种概率编程语言”,《统计软件杂志》,76(1):1-32。
[9] Devroye,L.(1986)。非均匀随机变量生成。纽约施普林格-弗拉格·Zbl 0593.65005号
[10] Frigessi,A.、Gásemyr,J.和Rue,H.(2000)。“两条吉布斯采样链的对偶耦合”,《统计年鉴》,28(4):1128-1149·Zbl 1105.65303号 ·doi:10.1214/aos/1015956710
[11] Gelfand,A.E.、Smith,A.F.M.和Lee,T.M.(1992年)。“使用吉布斯抽样对约束参数和截断数据问题的贝叶斯分析”,《美国统计协会杂志》,87(418):523-532。
[12] Gelman,A.、Roberts,G.O.和Gilks,W.R.(1996)。“高效都市跳跃规则”,贝叶斯统计,5599–607。牛津大学出版社,纽约。
[13] Geyer,C.J.(1992)。《实用马尔可夫链蒙特卡罗》,《统计科学》,7(4):473–483。
[14] Girolma,M.和Calderhead,B.(2011年)。《黎曼流形朗之万和哈密顿蒙特卡罗方法》,《皇家统计学会杂志》。B辑,统计方法,73(2):123–214。经过讨论和作者的回复·Zbl 1411.62071号
[15] Hammersley,J.M.和Morton,K.W.(1956年)。“一种新的蒙特卡罗技术:对偶变量”,《剑桥哲学学会数学学报》,52:449-475·兹比尔0071.35404 ·doi:10.1017/S0305004100031455
[16] 黑斯廷斯,W.K.(1970)。“使用马尔可夫链的蒙特卡罗采样方法及其应用”,《生物特征》,57(1):97–109·Zbl 0219.65008号 ·doi:10.1093/biomet/57.1.97
[17] Hoffman,M.D.和Gelman,A.(2014)。“无转取样器:在哈密尔顿蒙特卡罗中自适应设置路径长度”,《机器学习研究杂志》,15:1593-1623·Zbl 1319.60150号
[18] Horai,S.、Hayasaka,K.、Kondo,R.、Tsugane,K.和Takahata,N.(1995年)。“人类线粒体DNA完整序列揭示了现代人类的最新非洲起源”,《美国国家科学院学报》,92(2):532-536。
[19] Jukes,T.H.和Cantor,C.R.(1969年)。“蛋白质分子的进化”,载于蒙罗·H·N(编辑),《哺乳动物蛋白质代谢》,第3卷,第21–132页。纽约学术出版社。
[20] Kemeny,J.G.和Snell,J.L.(1960年)。有限马尔可夫链。D.Van Nostrand有限公司·Zbl 0089.13704号
[21] Metropolis,N.、Rosenbluth,A.W.、Rosenbruth,M.N.、Teller,A.H.和Teller等人(1953年)。“快速计算机器的状态方程计算”,《化学物理杂志》,21(6):1087–1092·Zbl 1431.65006号
[22] Mira,A.(2001年)。“有限状态空间蒙特卡洛·马尔可夫链的效率”,《统计与概率快报》,54(4):405-411·Zbl 0989.60066号 ·doi:10.1016/S0167-7152(01)00115-8
[23] Pasarica,C.和Gelman,A.(2010年)。“使用预期的平方跳跃距离自适应缩放Metropolis算法。”Statist。Sinica,20(1):343–364·Zbl 1186.62038号
[24] Peskun,P.H.(1973)。“使用马尔可夫链的最佳蒙特卡罗抽样”,《生物特征》,60:607-612·Zbl 0271.62041号 ·doi:10.1093/biomet/60.3.607
[25] Pillai,N.S.、Stuart,A.M.和Thieéry,A.H.(2012)。“高维Langevin算法的最佳缩放和扩散极限”,《应用概率年鉴》,22(6):2320–2356·Zbl 1272.60053号 ·doi:10.1214/11-AAP828
[26] Roberts,G.O.、Gelman,A.和Gilks,W.R.(1997)。“随机行走Metropolis算法的弱收敛性和最优缩放”,《应用概率年鉴》,7(1):110–120·Zbl 0876.60015号 ·doi:10.1214/aoap/1034625254
[27] Roberts,G.O.和Rosenthal,J.S.(1998年)。《朗之万扩散离散近似的最佳缩放》,《皇家统计学会杂志》。B辑,统计方法,60(1):255-268·Zbl 0913.60060号 ·doi:10.1111/1467-9868.00123
[28] Sherlock,C.和Roberts,G.(2009年)。“椭圆对称单峰目标上随机游走大都会的最佳缩放”,伯努利,15(3):774-798·兹比尔1215.60047 ·doi:10.3150/08-BEJ176
[29] Thawornwattana,Y.、Dalquen,D.和Yang,Z.(2017年)。“设计简单有效的马尔可夫链蒙特卡罗建议核”的补充材料贝叶斯分析·Zbl 1407.60103号 ·doi:10.1214/17-BA1084
[30] Tierney,L.(1994)。“探索后验分布的马尔可夫链”,《统计学年鉴》,22(4):1701-1762·Zbl 0829.62080号 ·doi:10.1214/aos/1176325750
[31] Tierney,L.(1998)。“关于一般状态空间的Metropolis-Hastings核的注记”,《应用概率年鉴》,8(1):1-9·Zbl 0935.60053号 ·doi:10.1214/aoap/1027961031
[32] Wang,Z.、Mohamed,S.和de Freitas,N.(2013)。“自适应哈密顿量和黎曼流形蒙特卡罗”,第30届国际机器学习会议(ICML)论文集,1462-1470。
[33] Yang,Z.和Rodríguez,C.E.(2013)。“寻找有效的马尔可夫链蒙特卡罗建议核”,《美国国家科学院学报》,110(48):19307–19312·Zbl 1292.60076号 ·doi:10.1073/pnas.1311790110
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。