×

随机环境下的几何自适应蒙特卡罗。 (英语) Zbl 1490.65003号

摘要:引入了流形马尔可夫链蒙特卡罗算法,以更有效地从具有多模式或强相关性的具有挑战性的目标密度中进行采样。此类算法利用了参数空间的局部几何结构,从而使链在按步数测量时能够实现更快的收敛速度。然而,获取局部几何信息通常会增加每一步的计算复杂性,以至于从高维目标采样在总计算时间方面变得效率低下。本文分析了流形Langevin Monte Carlo的计算复杂性,提出了一种几何自适应Monte Carol采样器,旨在平衡利用局部几何的优点和计算成本,以在给定的计算成本下实现高效的样本大小。所建议的采样器是随机环境中的离散随机过程。随机环境允许在调度的帮助下在局部几何和自适应建议内核之间进行切换。提出了一种指数调度,使得在链的早期瞬态阶段可以更频繁地使用几何信息,而在后期稳态阶段可以节省计算时间。平均复杂度可以手动设置,具体取决于底层模型对几何开发的需求。

MSC公司:

65立方厘米05 蒙特卡罗方法
65立方厘米 马尔可夫链的数值分析或方法
65层99 数值线性代数
2015年1月62日 贝叶斯推断
60J22型 马尔可夫链中的计算方法
60K37型 随机环境中的进程
62-08 统计问题的计算方法
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] C.安德烈;É. Moulines,关于一些自适应MCMC算法的遍历性,Ann.Appl。概率。,16, 1462-1505 (2006) ·Zbl 1114.65001号 ·doi:10.1214/1050516060000286
[2] Y.Bai;G.O.Roberts;J.S.Rosenthal,关于自适应马尔可夫链蒙特卡罗算法的包含条件,高级应用。统计,21,1-54(2011)·Zbl 1225.60130号
[3] M.Betancourt,黎曼流形Hamilton Monte Carlo的一般度量信息几何科学,计算机课堂讲稿。科学。,8085,施普林格,海德堡,2013327-334·Zbl 1406.65004号
[4] B.Calderhead、M.Epstein、L.Sivilotti和M.Girolami,机械离子通道建模的贝叶斯方法在Silico系统生物学《分子生物学方法》,1021,Humana Press,Totowa,NJ,2013,247-272。
[5] B.Calderhead和M.Girolma,使用微分几何采样方法进行非线性动力系统的统计分析,界面焦点, 1 (2011). ·Zbl 1411.62071号
[6] S.Chib公司;E.Greenberg,理解大都会黑斯廷斯算法,Amer。统计学家,49,327-335(1995)·doi:10.2307/2684568
[7] A.M.Davie;A.J.Stothers,矩阵乘法复杂性的改进界限,Proc。罗伊。Soc.爱丁堡教派。A、 143、351-369(2013)·Zbl 1276.65024号 ·doi:10.1017/S0308210511001648
[8] S.Duane;A.D.肯尼迪;B.J.Pendleton;D.Roweth,混合蒙特卡罗,物理。莱特。B、 195216-222(1987)·doi:10.1016/0370-2693(87)91197-X
[9] E.B.Ford,《提高马尔可夫链蒙特卡罗分析太阳系外行星轨道的效率》,《天体物理学杂志》,642,505-522(2006)·doi:10.1086/500802
[10] E.B.Ford,量化太阳系外行星轨道的不确定性,《天文学杂志》,1291706-1717(2005)·doi:10.1086/427962
[11] F.L.Gall,张量的幂和快速矩阵乘法,in第39届符号和代数计算国际研讨会论文集计算机协会,2014296-303·Zbl 1325.65061号
[12] C.J.Geyer,实用马尔可夫链蒙特卡罗,统计师。科学。,7, 473-483 (1992) ·Zbl 0085.18501号 ·doi:10.1214/ss/117701137
[13] P.E.吉尔;G.H.Golub;W.Murray;M.A.Saunders,修改矩阵分解的方法,数学。公司。,28, 505-535 (1974) ·兹标0289.65021 ·doi:10.1090/S0025-5718-1974-0343558-6
[14] M.Girolma;B.Calderhead,Riemann流形Langevin和Hamilton Monte Carlo方法,J.R.Stat.Soc.Ser。B统计方法。,73, 123-214 (2011) ·Zbl 1411.62071号 ·文件编号:10.1111/j.1467-9868.2010.00765.x
[15] A.Griewank,《关于自动微分和算法线性化》,Pesquisa Operacional,34621-645(2014)·doi:10.1590/0101-7438.2014.034.03.0621
[16] A.Griewank和A.Walther,评估衍生品。算法微分原理与技术工业和应用数学学会(SIAM),宾夕法尼亚州费城,2008年·Zbl 1159.65026号
[17] J.E.Griffin;S.G.Walker,《自适应大都会-黑斯廷斯方法》,《统计计算》。,123-134(2013年)·Zbl 1322.65032号 ·doi:10.1007/s11222-011-9296-2
[18] H.哈里奥;M.Laine;A.米拉;E.Saksman,DRAM:高效自适应MCMC,统计计算。,16, 339-354 (2006) ·doi:10.1007/s11222-006-9438-0
[19] H.哈里奥;E.萨克斯曼;J.Tamminen,自适应大都会算法,伯努利,7,223-242(2001)·Zbl 0989.65004号 ·doi:10.2307/3318737
[20] B.Hajek,最佳退火冷却计划,单位:in通信和计算中的开放问题纽约州施普林格市,1987147-150。
[21] N.J.Higham,计算最近的相关矩阵-金融问题,IMA J.Numer。分析。,22, 329-343 (2002) ·Zbl 1006.65036号 ·doi:10.1093/imanum/22.3329
[22] 海姆,计算最近对称半正定矩阵,线性代数应用。,103, 103-118 (1988) ·Zbl 0649.65026号 ·doi:10.1016/0024-3795(88)90223-6
[23] N.J.Higham;N.Strabić,计算最近相关矩阵的交替投影法的Anderson加速度,Numer。算法,721021-1042(2016)·Zbl 1347.65074号 ·doi:10.1007/s11075-015-0078-3
[24] T.House,Hessian对Metropolis调整后的Langevin算法的修正,预印本,arXiv:1507.06336。
[25] O.Kallenberg,随机测度、理论与应用《概率论与随机建模》,77。施普林格,查姆,2017年·Zbl 1376.60003号
[26] S.Kirkpatrick;小C.D.Gelatt。;M.P.Vecchi,《模拟退火优化》,《科学》,220671-680(1983)·Zbl 1225.90162号 ·doi:10.1126/science.220.4598.671
[27] T.S.Kleppe,基于Hessian的流形Langevin采样器的自适应步长选择,Scand。J.Stat.,43,788-805(2016)·Zbl 1468.62435号 ·doi:10.1111/sjos.12204
[28] S.兰;T.Bui-Thanh;M.克里斯蒂;M.Giromia,贝叶斯反问题流形蒙特卡罗方法中高阶张量的仿真,J.Compute。物理。,308, 81-101 (2016) ·Zbl 1352.65010号 ·doi:10.1016/j.jcp.2015.12.032
[29] S.利文斯顿;M.Girolma,《使用扩散的信息几何马尔可夫链蒙特卡罗方法》,《熵》,第16期,第3074-3102页(2014年)·Zbl 1338.65018号 ·doi:10.3390/e16063074
[30] M.Locatelli,连续全局优化的模拟退火算法:收敛条件,J.Optim。理论应用。,104, 121-133 (2000) ·Zbl 0970.90102号 ·doi:10.1023/A:1004680806815
[31] J.F.D.Martin和J.M.R.no Sierra,模拟退火冷却计划的比较人工智能百科全书, 2009,344-352.
[32] R.M.尼尔,神经网络的贝叶斯学习《统计学讲义》,第118页,施普林格,纽约,1996年·Zbl 0888.62021号
[33] J.内维尔,概率演算的数学基础,Holden Day,Inc.,加利福尼亚州旧金山-伦敦阿姆斯特丹,1965年·Zbl 0137.11301号
[34] Y.努拉尼;B.Andresen,《模拟退火冷却策略的比较》,J.Phys。A: 数学。概述,318373-8385(1998)·Zbl 0962.82068号 ·doi:10.1088/0305-4470/31/41/011
[35] T.Papamarkou,A.Mira和M.Girolama,蒙特卡罗方法和零方差原理贝叶斯方法及其应用的当前趋势,CRC出版社,佛罗里达州博卡拉顿,2015年,457-476。
[36] M.Pereyra,近似马尔可夫链蒙特卡罗算法,统计计算。,26, 745-760 (2016) ·Zbl 1505.62315号 ·数字对象标识代码:10.1007/s11222-015-9567-4
[37] J.Revels,M.Lubin和T.Papamarkou,朱莉娅的正向模式自动区分,预印本,arXiv:1607.07892。
[38] G.O.罗伯茨;J.S.Rosenthal,自适应马尔可夫链蒙特卡罗算法的耦合和遍历性,J.Appl。概率。,44, 458-475 (2007) ·Zbl 1137.62015年 ·doi:10.1239/jap/1183667414
[39] G.O.Roberts;J.S.Rosenthal,自适应MCMC示例,J.Compute。图表。统计人员。,18, 349-367 (2009) ·doi:10.1198/jcgs.2009.06134
[40] G.O.Roberts;J.S.Rosenthal,Langevin扩散离散近似的最佳缩放,J.R.Stat.Soc.Ser。B统计方法。,60, 255-268 (1998) ·Zbl 0913.60060号 ·doi:10.1111/1467-9868.00123
[41] G.O.Roberts;O.Stramer,Langevin扩散和Metropolis-Hastings算法,Methodol。计算。申请。概率。,4, 337-357 (2002) ·Zbl 1033.65003号 ·doi:10.1023/A:1023562417138
[42] G.O.Roberts;R.L.Tweedie,Langevin分布及其离散近似的指数收敛性,Bernoulli,2,341-363(1996)·Zbl 0870.60027号 ·doi:10.2307/3318418
[43] E.萨克斯曼;M.Vihola,关于自适应Metropolis算法在无界域上的遍历性,Ann.Appl。概率。,202178-203(2010)·Zbl 1209.65004号 ·doi:10.1214/10-AAP682
[44] R.Schwentner;T.Papamarkou;M.O.Kauer;V.Stathopoulos;F.Yang;等,EWS-FLI1使用E2F开关驱动靶基因表达,核酸研究,43,2780-2789(2015)·doi:10.1093/nar/gkv123
[45] M.Seeger,Cholesky分解的低阶更新《技术报告》,加州大学伯克利分校,2004年。可从以下位置获得:http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.585.5275&rep=rep1&type=pdf。
[46] U.öimšekli,R.Badeau,A.T.Cemgil和G.Richard,随机准Newton Langevin Monte Carlo,in第33届机器学习国际会议论文集, 2016,642-651.
[47] 西北部塔丘;E.B.福特;T.Papamarkou;A.Lindo,《系外行星过境时间变化模型的几何采样器效率》,《罗伊月刊》。天文学会,4843772-3784(2019)·doi:10.1093/mnras/stz247
[48] M.Vihola,具有强制接受率的鲁棒自适应Metropolis算法,统计计算。,22, 997-1008 (2012) ·Zbl 1252.65024号 ·doi:10.1007/s11222-011-9269-5
[49] J.H.Wilkinson,现代误差分析,SIAM Rev.,13,548-568(1971)·Zbl 0243.65018号 ·doi:10.1137/1013095
[50] V.V.Williams,《打破铜匠-温诺格拉德壁垒》,2011年。
[51] 西法拉;C.夏洛克;S.利文斯顿;S.Byrne;M.Girolma,Langevin扩散和大都会调整的Langewin算法,Statist。普罗巴伯。莱特。,91, 14-19 (2014) ·兹比尔1298.60081 ·doi:10.1016/j.spl.2014.04002
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。