×
Tijana Radivojević;埃琳娜·阿赫马茨卡亚

贝叶斯推断的改进哈密顿蒙特卡罗方法。 （英语） 兹比尔1436.62098

统计计算。 30，第2期，377-404（2020年）.
摘要：哈密顿蒙特卡罗（HMC）方法已被公认为计算统计学中一种强大的采样工具。我们表明，通过将重要采样和动力学的不可逆部分合并到一个链中，HMC的性能可以显著提高。这是通过用修改的哈密顿量替换Metropolis测试中的哈密尔顿量，并用部分动量更新来完成动量更新来实现的。我们将得到的广义HMC重要性采样器称为混合匹配哈密顿蒙特卡罗（MMHMC）。该方法通过构造是不可逆的，并进一步受益于（i）计算修正哈密顿量的有效算法；（ii）隐式动量更新程序和（iii）专门为修正哈密顿量采样方法推导的多级分裂积分器。MMHMC已经实现，并在流行的统计模型上进行了测试，并在采样效率方面与HMC、黎曼流形哈密顿蒙特卡罗、广义混合蒙特卡罗、广义阴影混合蒙特卡罗、Metropolis Adjusted Langevin算法和Random Walk Metropolis Hastings进行了比较。为了进行公平的比较，我们提出了一种度量方法，它可以解释样本和权重之间的相关性，并且可以很容易地用于生成此类样本的所有方法。实验表明，MMHMC优于流行的采样技术，尤其是在解决高维问题方面。

引用于6文件

MSC公司：

2015年1月62日 贝叶斯推断
62-08 统计问题的计算方法
65二氧化碳 蒙特卡罗方法

关键词：

贝叶斯推断;马尔科夫蒙特卡洛;哈密顿蒙特卡罗;重要性抽样;修正哈密顿量

软件：

全球海洋管理委员会;UCI-毫升;PyMC公司;化学需氧量;坚果;斯坦
PDF格式BibTeX公司 XML格式引用
\textit{T.Radivojević}和\textit{E.Akhmatskaya}，统计计算。30，第2号，377--404（2020；Zbl 1436.62098）
全文： 内政部 arXiv公司 链接

参考文献：

[1] Afshar，H.M.，Domke，J.：反射、折射和哈密顿蒙特卡罗。In:神经信息处理系统（NIPS）进展（2015）
[2] 埃琳娜·阿赫马茨卡亚；Reich，Sebastian，目标阴影混合蒙特卡罗（TSHMC）方法，高分子模拟的新算法，141-153（2006），柏林，海德堡：施普林格-柏林-海德堡·Zbl 1207.81200号
[3] Akhmatskaya，E。；Reich，S.，GSHMC：一种有效的分子模拟方法，J.Compute。物理。，227, 10, 4934-4954 (2008) ·doi:10.1002/和p.19053221004
[4] Akhmatskaya，E。；Reich，S.，《有效采样的新混合蒙特卡罗方法：从物理学到生物学和统计学》，Progr。无。科学。技术。，2, 447-462 (2012) ·doi:10.15669/pnst.2.447
[5] Akhmatskaya，E.，Reich，S.，Nobes，R.：分子模拟的方法、仪器和计算机程序。GB专利（已发布）（2009年）
[6] Akhmatskaya，E.，Nobes，R.，Reich，S.：分子模拟的方法、仪器和计算机程序。美国专利（授予）（2011年）
[7] Akhmatskaya，E。；Fernández-Pendás，M。；拉迪沃耶维奇，T。；Sanz-Serna，Jm，《用于提高分子模拟中改进哈密顿蒙特卡罗方法的采样效率的自适应分裂积分器》，Langmuir，33，42，11530-11542（2017）·doi:10.1021/acs.langmuir.7b01372
[8] Beskos，A。；北卡罗来纳州皮莱。；罗伯茨，G。；桑兹·塞尔纳，J。；Stuart，A.，混合蒙特卡罗算法的优化调整，Bernoulli，19，1501-1534（2013）·兹比尔1287.60090 ·文件编号：10.3150/12-BEJ414
[9] Betancourt，M.，约束哈密顿蒙特卡罗嵌套抽样，AIP Conf.Proc。，1305, 165-172 (2011) ·doi:10.1063/1.3573613
[10] Betancourt，M.：黎曼流形哈密顿蒙特卡罗的一般度量。摘自：《信息几何科学》，第327-334页。施普林格（2013a）·Zbl 1406.65004号
[11] Betancourt，M.：将非U形取样器推广到黎曼流形（2013b）。arXiv:1304.1920v1
[12] Betancourt，M.：绝热蒙特卡罗（2014）。arXiv:1405.3489v4
[13] Betancourt，M.：哈密尔顿蒙特卡罗概念介绍（2017）。arXiv:1701.02434v1
[14] 贝当古，M。；Girolama，M.，层次模型的哈密顿蒙特卡罗，当前。趋势贝叶斯方法。申请。，79, 30 (2015)
[15] 贝当古，M。；拜恩，S。；利文斯顿，S。；Girolma，M.，《哈密尔顿蒙特卡罗的几何基础》，伯努利，23，4，2257-2298（2017）·Zbl 1380.60070号 ·doi:10.3150/16-bej810
[16] 布拉内斯，S。；卡萨斯，F。；Sanz-Serna，Jm，混合蒙特卡罗方法的数值积分器，SIAM J.Sci。计算。，36、4、A1556-A1580（2014）·Zbl 1312.65209号 ·数字对象标识代码：10.1137/130932740
[17] 博尼拉先生；洛扎诺，A。；埃斯克里巴诺，B。；卡拉斯科，J。；Akhmatskaya，E.，揭示钠扩散机制{钠}_x\text{FePo}_4\）使用改进的力场，J.Phys。化学。C、 122、15、8065-8075（2018）·doi:10.1021/acs.jpcc.8b00230
[18] 伯恩，L。；Cornebise，J.，Girolma和Calderhead对论文的讨论，J.R.Stat.Soc.Ser。B（Stat.Methodol.），73，2，123-214（2011）·Zbl 1411.62071号 ·文件编号：10.1111/j.1467-9868.2010.00765.x
[19] 布沙尔德·科特，A。；Vollmer，Sj；Doucet，A.，《弹性粒子采样器：一种不可逆无排斥马尔可夫链蒙特卡罗方法》，美国统计协会，113，522，855-867（2018）·Zbl 1398.60084号 ·doi:10.1080/016214529.2017年12月94075日
[20] Brubaker，M.A.，Salzmann，M.，Urtasun，R.：隐式定义流形上的MCMC方法家族。摘自：国际人工智能与统计会议（AISTATS），第161-172页（2012年）
[21] 坎波斯，Cm；Sanz-Serna，Jm，《额外机会广义混合蒙特卡罗》，J.Compute。物理。，281, 365-374 (2015) ·Zbl 1352.65007号 ·doi:10.1016/j.jcp.2014.09.037
[22] Chen，L.，Qin，Z.，Liu，J.S.：探索贝叶斯计算中的混合蒙特卡罗。In:ISBA 2000，Proceedings（2000）
[23] Chen，T.，Fox，E.B.，Guestrin，C.：随机梯度Hamilton Monte Carlo。附：第31届机器学习国际会议论文集，中国北京（2014）
[24] Dinh，V.，Bilge，A.，Zhang，C.，IV，F.A.M.：概率路径哈密尔顿蒙特卡罗。摘自：第34届国际机器学习会议记录（2017年）
[25] Duane，S。；肯尼迪，广告；彭德尔顿，Bj；Roweth，D.，混合蒙特卡罗，物理。莱特。B、 195、2、216-222（1987）·doi:10.1016/0370-2693（87）91197-X
[26] Ab Duncan；Leliévre，T。；Pavliotis，Ga，使用不可逆Langevin采样器减少方差，J.Stat.Phys。，163, 3, 457-491 (2016) ·Zbl 1343.82036号 ·doi:10.1007/s10955-016-1491-2
[27] Duncan，A.B.、Pavliotis，G.A.、Zygalakis，K.C.：不可逆Langevin采样器：分离方案、分析和实施（2017）。arXiv:1701.04247
[28] 埃斯克里巴诺，B。；洛扎诺，A。；Radivojević，T。；Fernández-Pendás，M。；卡拉斯科，J。；Akhmatskaya，E.，《电池固态材料原子模拟中的强化取样：橄榄石重点》，Theor。化学。Acc.，136，43（2017）·doi:10.1007/s00214-017-2064-4
[29] 方，Y。；桑兹·塞尔纳，Jm；Skeel，Rd，可压缩广义混合Monte Carlo，J.Chem。物理。，140174108（2014年）·doi:10.1063/1.4874000
[30] Fu，T.，Luo，L.，Zhang，Z.：准牛顿哈密顿蒙特卡罗。摘自：《人工智能中的不确定性学报》，第212-221页（2016年）
[31] 加西亚·达萨，F。；Bonilla先生；洛德斯，A。；卡拉斯科，J。；Akhmatskaya，E.，《ga/al取代li7la3zr2o12固体电解质中离子传输和电导率的原子洞察力》，ACS Appl。马特。接口，11753-765（2019）·doi:10.1021/acsami.8b17217
[32] Geyer，Cj，实用马尔可夫链蒙特卡罗，统计科学。，7, 4, 473-483 (1992) ·Zbl 0085.18501号 ·doi:10.1214/ss/117701137
[33] Girolma，M。；Calderhead，B.，Riemann流形Langevin和Hamilton Monte Carlo方法，J.R.Stat.Soc.Ser。B（Stat.Methodol.），73，2，123-214（2011）·Zbl 1411.62071号 ·文件编号：10.1111/j.1467-9868.2010.00765.x
[34] Graham，M.M.，Storkey，A.J.：不断锻炼的哈密尔顿蒙特卡罗。In:《人工智能中的不确定性》（2017）
[35] Gramacy，R。；萨姆沃思，R。；King，R.，重要性调整，统计计算。，20, 1, 1-7 (2010) ·数字对象标识代码：10.1007/s11222-008-9108-5
[36] 海尔，E。；卢比奇，C。；Wanner，G.，《几何-数值积分》（2006），柏林：施普林格出版社，柏林·Zbl 1094.65125号
[37] 马里兰州霍夫曼；Gelman，A.，No-U-Turn采样器：在哈密顿蒙特卡罗，J.Mach中自适应设置路径长度。学习。第15号决议，1593-1623（2014）·Zbl 1319.60150号
[38] Am Horowitz，《广义引导蒙特卡罗算法》，Phys。莱特。B、 268247-252（1991）·doi:10.1016/0370-2693（91）90812-5
[39] 贾·伊扎吉雷（Ja Izaguirre）；Hampton，Ss，Shadow hybrid Monte Carlo：高分子相空间中的有效传播子，J.Compute。物理。，200581-604（2004年）·Zbl 1115.65383号 ·doi:10.1016/j.jcp.2004.04.016
[40] 杰奎尔，E。；Polson，Ng；Rossi，Pe，随机波动率模型的贝叶斯分析，J.Bus。经济。Stat.，12，4（1994）
[41] A.D.肯尼迪：混合随机算法理论。在：量子场论和量子引力中的概率方法，第209-223页。斯普林格（1990）·兹比尔0732.65005
[42] 肯尼迪，广告；Pendleton，B.，自由场理论广义混合蒙特卡罗算法的成本，Nucl。物理。B、 607456-510（2001年）·Zbl 0969.81639号 ·doi:10.1016/S0550-3213（01）00129-8
[43] Kim，S。；北谢泼德。；Chib，S.，《随机波动性：似然推断和与arch模型的比较》，《经济学评论》。螺柱，65，361-393（1998）·Zbl 0910.90067号 ·doi:10.1111/1467-937X.00050
[44] Kleppe，T.S.：贝叶斯层次模型的动态重标哈密顿蒙特卡罗（2018）。arXiv:1806.02068v1·Zbl 07499072号
[45] A.孔。；刘，Js；Wong，Wh，《顺序插补和贝叶斯缺失数据问题》，《美国统计协会期刊》，第89、425、278-288页（1994年）·Zbl 0800.62166号 ·doi:10.1080/01621459.1994.10476469
[46] Lan，S.，Streets，J.，Shahbaba，B.：虫洞哈密尔顿蒙特卡罗。附：第28届AAAI人工智能会议记录（2014a）·Zbl 1349.62200号
[47] Lan，S.，Zhou，B.，Shahbaba，B.：约束目标分布的球形哈密顿蒙特卡罗。摘自：《第31届机器学习国际会议论文集》，第629-637页（2014b）
[48] 兰·S。；Stathopoulos，V.公司。；Shahbaba，B。；Giromia，M.，《拉格朗日动力学蒙特卡罗》，J.Compute。图表。Stat.，24，2，357-378（2015）·doi:10.1080/10618600.2014.902764
[49] 莱姆库勒，B。；Reich，S.，《模拟哈密顿动力学》（2005），剑桥：剑桥大学出版社，剑桥
[50] Levy，D.，Hoffman，M.D.，Sohl-Dickstein，J.：用神经网络推广哈密顿蒙特卡罗。在：第六届国际学习代表大会（2018）
[51] Lichman，M.：UCI机器学习库（2013）。http://archive.ics.uci.edu/ml。2015年5月查阅
[52] Liu，Js，科学计算中的蒙特卡罗策略。Springer统计学系列（2008），纽约：Springer，纽约·Zbl 1132.65003号
[53] Livingstone，S.、Betancourt，M.、Byrne，S.和Girolma，M.：关于哈密尔顿蒙特卡罗的几何遍历性（2016）。arXiv:1601.08057v1·Zbl 1428.62375号
[54] Livingstone，S.、Faulkner，M.F.、Roberts，G.O.：哈密顿/混合蒙特卡罗中的动能选择（2017）。arXiv:1706.02649v2·Zbl 1439.60070号
[55] Lu，X.，Perrone，V.，Hasenclever，L.，Teh，Y.W.，Vollmer，S.J.：相对论蒙特卡洛。参加：国际人工智能与统计会议（AISTATS）（2017年）
[56] Luo，R.，Yang，Y.，Wang，J.，Liu，Y.：用于多模式后验采样的恒温器辅助连续回火哈密顿蒙特卡罗。In:NIPS近似贝叶斯推断研讨会进展（2017年）
[57] Ma，Y.A.，Fox，E.B.，Chen，T.，Wu，L.：设计高效和不可逆MCMC取样器的统一框架（2016）。arXiv:1608.05973v3
[58] Mackenzie，Pb，改进的混合蒙特卡罗方法，物理。莱特。B、 226369-371（1989）·doi:10.1016/0370-2693（89）91212-4
[59] Mclachlan，Ri，《关于用对称合成法对常微分方程进行数值积分》，SIAM J.Sci。计算。，16, 1, 151-168 (1995) ·Zbl 0821.65048号 ·doi:10.1137/0916010
[60] Neal，R.M.：神经网络的贝叶斯学习。多伦多大学计算机科学系博士论文（1994年）·Zbl 0888.62021号
[61] Neal，Rm，退火重要性抽样，统计计算。，11, 125-139 (2001) ·doi:10.1023/A:1008923215028
[62] Neal，R.M.：改进MCMC估计量的渐近方差：不可逆链更好。多伦多大学统计系技术报告0406（2004）
[63] Neal，R.M.：使用哈密顿动力学的MCMC。摘自：Brooks，S.，Gelman，A.，Jones G.L.，Meng，X.-L.（编辑）《马尔可夫链蒙特卡洛手册》，第2卷，第113-162页。Chapman&Hall/CRC（2011）·Zbl 1229.65018号
[64] Nishimura，A.，Dunson，D.B.：回收中间步骤以改进哈密顿蒙特卡罗（2015）。arXiv:1511.06925v1·Zbl 1480.62060号
[65] Nishimura，A.，Dunson，D.B.：几何回火哈密顿蒙特卡罗（2017）。arXiv:1604.00872v2
[66] Nishimura，A.，Dunson，D.，Lu，J.：具有离散参数和不连续可能性的模型的不连续哈密顿蒙特卡罗（2018）。arXiv:1705.08510v2·Zbl 1441.62079号
[67] Ohzeki，M。；Ichiki，A.，《详细平衡条件违背的数学理解及其在朗之万动力学中的应用》，J.Phys。Conf.序列号。，638, 012003 (2015) ·doi:10.1088/1742-6596/638/1/012003
[68] Ottobre，M.，《马尔可夫链蒙特卡罗和不可逆性》，众议员数学。物理。，77,3267-292（2016）·兹比尔1387.60116 ·doi:10.1016/S0034-4877（16）30031-3
[69] Ottobre，M。；皮莱，Ns；Fj平斯基；Stuart，Am，具有二阶Langevin扩散极限的函数空间HMC算法，Bernoulli，22，1，60-106（2016）·兹比尔1346.60119 ·doi:10.3150/14-BEJ621
[70] Pakman，A.，Paninski，L.：二元分布的辅助变量精确哈密顿蒙特卡罗采样器。摘自：《神经信息处理系统进展》，第2490-2498页（2013年）
[71] 普卢默，M。；贝斯特，N。；Cowles，K。；Vines，K.，CODA：MCMC的收敛诊断和输出分析，R News，6，1，7-11（2006）
[72] Radivojević，T.：使用改进的哈密顿量增强计算统计中的采样。UPV-EHU博士论文（2016）
[73] Radivojević，T。；Fernández-Pendás，M。；桑兹·塞尔纳，Jm；Akhmatskaya，E.，用改进的哈密顿蒙特卡罗方法采样的多级分裂积分器，J.Compute。物理。，373, 900-916 (2018) ·Zbl 1416.65517号 ·doi:10.1016/j.jcp.2018.07.023
[74] Rimoldini，L.，加权偏度和峰度不受样本大小和高斯不确定性的影响，Astron。计算。，5, 1-8 (2014) ·doi:10.1016/j.ascom.2014.02.001
[75] Salvatier，J。；Wiecki，电视台；Fonnesbeck，C.，《使用pymc3的python概率编程》，PeerJ Compute。科学。，2，e55（2016）·doi:10.7717/peerj-cs.55
[76] Sohl-Dickstein，J.：减少动量翻转的哈密尔顿蒙特卡罗（2012）。arXiv:1205.1939v1
[77] Sohl-Dickstein，J.，Culppeper，B.J.：分配函数估计的哈密顿退火重要性抽样（2012）。arXiv公司：1205.1925
[78] Sohl-Dickstein，J.，Mudigonda，M.，Deweese，M.：无详细平衡的哈密尔顿蒙特卡罗。摘自：《第31届机器学习国际会议论文集》，第719-726页（2014）
[79] Stan开发团队：Stan建模语言用户指南和参考手册，2.17.0版（2017）
[80] Strathman，H.，Sejdinovic，D.，Livingstone，S.，Szabo，Z.，Gretton，A.：具有有效核指数族的无梯度哈密顿蒙特卡罗。摘自：《神经信息处理系统进展》，第955-963页（2015年）
[81] Suwa，H.，Todo，S.：马尔可夫链蒙特卡罗中不可逆核的一般构造（2012）。arXiv:1207.0258
[82] 甜，铬；南斯汉普顿；Skeel路；Izaguirre，Ja，可分离阴影哈密顿混合蒙特卡罗方法，化学杂志。物理。，131, 174106 (2009) ·doi:10.1063/1.3253687
[83] Tripuraneni，N.，Rowland，M.，Ghahramani，Z.，Turner，R.：磁哈密尔顿蒙特卡罗。摘自：第34届机器学习国际会议论文集（2017年）。arXiv:1607.02738v2
[84] van de Meent，J.W.，Paige，B.，Wood，F.：二次取样回火（2014）。arXiv:1401.7145v1
[85] Wang，Z.，de Freitas，N.：混合蒙特卡罗与贝叶斯参数强盗的预测适应。In:NIPS深度学习和无监督特征学习研讨会（2011年）
[86] Wang，Z.，Mohamed，S.，de Freitas，N.：自适应哈密顿量和黎曼流形蒙特卡罗采样器。摘自：《第三十届机器学习国际会议论文集》，第1462-1470页（2013）
[87] 水分，氯；Sansom女士；Reich，S。；Akhmatskaya，E.，《界面膜蛋白模拟的改进采样：广义阴影杂交蒙特卡罗在肽毒素/双层系统中的应用》，J.Phys。化学。B、 112、18、5710-5717（2008）·doi:10.1021/jp076712u
[88] Yi，K.，Doshi-Velez，F.：滚动哈密尔顿蒙特卡罗。致：第31届神经信息处理系统会议（2017年）
[89] Zhang，Y.，Sutton，C.：贝叶斯层次模型中推理的半可分哈密顿蒙特卡罗。摘自：《神经信息处理系统进展》，第10-18页（2014年）
[90] Zhang，Y.，Ghahramani，Z.，Storkey，A.J.，Sutton，C.A.：离散Hamilton Monte Carlo的连续松弛。摘自：《神经信息处理系统进展》（NIPS），第3194-3202页（2012年）
[91] Zhang，Y.，Wang，X.，Chen，C.，Fan，K.，Carin，L.：走向统一哈密顿蒙特卡罗和切片采样。摘自：《神经信息处理系统进展》，第1749-1757页（2016）
[92] 张，C。；Shahbaba，B。；Zhao，H.，使用随机基替代函数的哈密顿蒙特卡罗加速，统计计算。，1473-1490年6月27日（2017年）·Zbl 1384.65008号 ·doi:10.1007/s11222-016-9699-1
[93] 张，C。；Shahbaba，B。；Zhao，H.，基于参数空间正则性的哈密顿蒙特卡罗方法的预计算策略，计算。Stat.，32，1，253-279（2017）·Zbl 1417.65018号 ·doi:10.1007/s00180-016-0683-1
[94] Zhang，Y.，Chen，C.，Gan，Z.，Henao，R.，Carin，L.：随机梯度单体伽马采样器。摘自：第34届国际机器学习会议记录（2017c）
[95] 张，C。；Shahbaba，B。；赵，H.，通过分数匹配的变分哈密顿蒙特卡罗，贝叶斯分析。，13, 2, 485-506 (2018) ·兹伯利06989957 ·doi:10.1214/17-BA1060
[96] Zou，D.，Xu，P.，Gu，Q.：随机方差减少的Hamilton Monte Carlo方法。摘自：《第35届国际机器学习会议记录》，第80卷，第6028-6037页（2018）
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。