2023年12月 关于Metropolis-Hastings算法的接受-拒绝机制
内森·格拉特·霍尔茨,贾斯汀·克罗米斯,塞西莉亚·蒙代尼
作者关联+
附录申请。可能性。 33(6B): 5279-5333 (2023年12月)。 内政部:10.1214/23-AAP1948

摘要

这项工作为确定大都会-哈斯廷斯型马尔可夫核在统计抽样问题中广泛使用的接受率开发了一个强大而通用的框架。我们的方法允许我们导出新的核类,这些核类将随机游走或扩散型采样方法与基于哈密顿动力学思想的更复杂的“扩展相空间”算法统一起来。我们的出发点是在可测状态空间的一般性中发展出来的一个抽象结果,它处理具有某种对合结构的建议内核。注意,虽然这个潜在的建议结构表明了一个包含哈密顿型核的范围,但我们证明了我们的抽象结果在适当的意义上等同于在(附录申请。可能性。 8(1998)1-9),其中与哈密顿方法的联系更为模糊。

在我们的抽象结果的基础上,我们开发了几种新的扩展相空间类HMC算法。首先,我们处理连续分布目标测量的经典有限维设置。然后我们考虑目标的无限维框架,这些目标相对于具有迹类协方差的高斯测度是绝对连续的。这些算法类中的每一个都可以被视为“代理轨迹”方法,提供了一种通用的方法,通过熟练的降阶建模和/或数据驱动方法绕过昂贵的梯度计算,正如我们在即将到来的配套工作中开始探索的那样(Glatt-Holtz等人(2023))。另一方面,随着我们的主要抽象结果与(附录申请。可能性。 8(1998)1-9),这些算法类提供了一个统一的图片,将许多流行的现有算法连接在一起,这些算法是我们在适当的参数选择下的一般框架的特例。特别地,我们表明,在有限维设置中,我们可以生成一个算法类,其中包括Metropolis调整的Langevin算法(MALA)和随机游走Metropolis-Metropolis方法(RWMC),以及HMC算法的一些变体,包括在(J.R.统计社会服务。B.统计方法。 73(2011) 123–214). 在无限维情况下,我们证明了我们导出的算法类包括预处理的Crank–Nicolson(pCN),MALA和中考虑的HMC方法(斯托克。动态。 8(2008) 319–350;随机过程。申请。 121(2011) 2201–2230;统计师。科学。 28(2013)424–446)作为特殊情况。

资金筹措表

我们的努力得到了拨款DMS-1816551和NSF-DMS-2108790(NEGH、DMS-2009859(CFM)和NSF-DMS-2108791(JAK)的支持。

致谢

这项工作的部分构思是在两次研究访问过程中完成的:CFM于2020年1月访问洛杉矶新奥尔良,NEGH和CFM于2020年2月访问弗吉尼亚州布莱克斯堡。我们感谢杜兰大学和弗吉尼亚理工大学数学系主办了这些富有成效的访问。

我们要感谢我们的许多同事围绕这项工作提供了广泛而宝贵的反馈:Geordie Richards提供了更多参考资料,介绍了色散偏微分Gibbs测度研究的最新进展,安德鲁·霍尔布鲁克(Andrew Holbrook)对机器学习和统计文献的广泛引用,特别是向我们介绍了Metropolis–Hastings–Green算法以及代理轨迹方法的最新研究,吉迪恩·辛普森(Gideon Simpson)建议将定理2.1扩展到包括更一般的建议空间Y(Y)在这份手稿的第二稿中发现的公式中。最后,我们要感谢拉德福德·尼尔(Radford Neal)、迈克尔·贝当古(Michael Betancourt)、兰世伟(Shiwei Lan)和克里斯托夫·安德烈(Christophe Andrieu)的进一步鼓舞人心的对话,这些对话帮助我们将这部作品的背景化。

引用

下载引文

内森·格拉特·霍尔茨。 贾斯汀·克罗米斯。 塞西莉亚·蒙代尼。 “关于Metropolis-Hastings算法的接受-拒绝机制。” 附录申请。可能性。 33 (6B) 5279 - 5333, 2023年12月。 https://doi.org/10.1214/23-AAP1948

问询处

收到日期:2021年10月1日;修订日期:2022年11月1日;发布时间:2023年12月
欧几里德项目首次提供:2023年12月13日

数学科学网:4677734令吉
数字对象标识符:10.1214/23-AAP1948

学科:
主要用户:65二氧化碳,65页第10页

关键词:哈密尔顿蒙特卡罗,马尔可夫链蒙特卡罗(MCMC)算法,大都会–黑斯廷斯算法,抽象状态空间上的采样,替代轨迹方法

版权所有©2023数学统计研究所

期刊文章
55页

此文章仅适用于订户.
它不可单独出售。
+ 保存到我的库中

第33卷•第6B期•2023年12月
返回页首