×

随机梯度MCMC的控制变量。 (英语) Zbl 1430.62265号

摘要:众所周知,马尔可夫链蒙特卡罗(MCMC)方法随着数据集的大小而伸缩性较差。解决这个问题的一类流行方法是随机梯度MCMC(SGMCMC)。这些方法使用对数后验梯度的噪声估计,这降低了算法的每次迭代计算成本。尽管如此,仍有许多结果表明,随机梯度朗之万动力学(SGLD)可能是这些方法中最流行的方法,其计算成本仍与数据集大小成正比。我们建议随机梯度MCMC的另一种对数后验梯度估计,它使用控制变量来减少方差。我们使用该梯度估计分析了SGLD,并表明,在目标分布的对数一致性假设下,给定精度水平所需的计算成本与数据集大小无关。接下来,我们证明了一种不同的控制变量技术,即零方差控制变量,可以免费应用于SGMCMC算法。该后处理步骤通过减少MCMC输出的方差来改进算法的推理。零方差控制变量依赖于对数后验的梯度;我们探讨了用SGMCMC计算的带噪梯度估计来代替它对方差减少的影响。

MSC公司:

62兰特 大数据和数据科学的统计方面
65二氧化碳 蒙特卡罗方法
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] Ahn,S.、Koratikara,A.、Liu,N.、Rajan,S.和Welling,M.:使用随机梯度MCMC的大规模分布式贝叶斯矩阵分解。In:第21届ACM SIGKDD知识发现和数据挖掘国际会议论文集,第9-18页。ACM,纽约(2015)
[2] Baker,J.,Fearnhead,P.,Fox,E.B.,Nemeth,C.:sgmcmc:随机梯度马尔可夫链蒙特卡罗的R包。J.统计软件。(2017年)。https://arxiv.org/abs/1710.00578
[3] Bardenet,R.,Doucet,A.,Holmes,C.:高数据的马尔可夫链蒙特卡罗方法。J.马赫。学习。决议18(47),1-43(2017)·Zbl 1433.68394号
[4] Bierkens,J.、Fearnhead,P.、Roberts,G.:大数据贝叶斯分析的之字形过程和超高效采样。(2016). https://arxiv.org/abs/1607.03188 ·Zbl 1417.65008号
[5] Blackard,J.A.,Dean,D.J.:从制图变量预测森林覆盖类型的人工神经网络和判别分析的比较精度。计算。电子。农业。24(3), 131-151 (1999) ·doi:10.1016/S0168-1699(99)00046-0
[6] Blei,D.M.,Ng,A.Y.,Jordan,M.I.:潜在Dirichlet分配。J.马赫。学习。第3号决议,993-1022(2003)·Zbl 1112.68379号
[7] Bottou,L.:具有随机梯度下降的大规模机器学习。摘自:《第19届国际计算统计会议论文集》,第177-187页。柏林施普林格出版社(2010年)·Zbl 1436.68293号
[8] Chatterji,N.S.,Flamarion,N.,Ma,Y.-A.,Bartlett,P.L.,Jordan,M.I.:关于随机梯度蒙特卡罗的方差减少理论。(2018)。https://arxiv.org/abs/1802.05431v1
[9] Chen,C.,Wang,W.,Zhang,Y.,Su,Q.,Carin,L.:一类实际方差减少随机梯度MCMC的收敛性分析。(2017年)。https://arxiv.org/abs/17090.1180
[10] Chen,T.,Fox,E.,Guestrin,C.:随机梯度哈密顿蒙特卡罗。摘自:《第31届机器学习国际会议论文集》,第1683-1691页(2014)
[11] Dalalyan,A.S.,Karagulyan,A.G.:Langevin蒙特卡罗梯度不准确的用户友好保证。(2017年)。https://arxiv.org/abs/1710.00095 ·Zbl 1428.62316号
[12] Ding,N.,Fang,Y.,Babbush,R.,Chen,C.,Skeel,R.D.,Neven,H.:使用随机梯度恒温器的贝叶斯采样。摘自:《神经信息处理系统进展》27,第3203-3211页。Curran Associates,Inc,Red Hook(2014年)
[13] Dubey,K.A.,Reddi,S.J.,Williamson,S.A.,Poczos,B.,Smola,A.J.,Xing,E.P.:随机梯度Langevin动力学中的方差减少。摘自:《神经信息处理系统进展》,第29卷,第1154-1162页。Curran Associates,Inc,Red Hook(2016)
[14] Durmus,A.,Moulines,E.:通过未调整的langevin算法进行的高维贝叶斯推断。(2016). https://hal.archives-ouvertes.fr/hal-01304430/ ·Zbl 1428.62111号
[15] Friel,N.,Mira,A.,Oates,C.:利用多核架构进行具有难以处理的可能性的降维估计。贝叶斯分析。11(1), 215-245 (2016) ·Zbl 1357.62112号 ·doi:10.1214/15-BA948
[16] Le Cam,L.:统计决策理论中的渐近方法。柏林施普林格出版社(2012)
[17] Mira,A.,Solgi,R.,Imparato,D.:贝叶斯估计量的零方差马尔可夫链蒙特卡罗。统计计算。23(5), 653-662 (2013) ·Zbl 1322.62212号 ·doi:10.1007/s11222-012-9344-6
[18] Mnih,A.,Salakhutdinov,R.R.:概率矩阵分解。摘自:《神经信息处理系统进展》,第20卷,第1257-1264页。Curran Associates,Inc,Red Hook(2008)
[19] Nagapetyan,T.、Duncan,A.、Hasenclever,L.、Vollmer,S.J.、Szpruch,L.和Zygalakis,K.:随机梯度Langevin动力学的真实成本。(2017年)。https://arxiv.org/abs/1706.02692
[20] 尼尔,RM;Brooks,S.(编辑);Gelman,A.(编辑);Jones,GL(编辑);Meng,X-L(编辑),《使用哈密顿动力学的MCMC》(2010年),博卡拉顿
[21] Nemirovski,A.,Juditsky,A.,Lan,G.,Shapiro,A.:随机规划的稳健随机近似方法。SIAM J.Optim公司。19(4), 1574-1609 (2009) ·Zbl 1189.90109号 ·doi:10.1137/070704277
[22] Papamarkou,T.、Mira,A.、Girolma,M.:零方差微分几何马尔可夫链蒙特卡罗算法。贝叶斯分析。9(1), 97-128 (2014) ·Zbl 1327.60140号 ·doi:10.1214/13-BA848
[23] Patterson,S.,Teh,Y.W.:概率单纯形上的随机梯度黎曼-朗之万动力学。摘自:《神经信息处理系统进展》,第26卷,第3102-3110页。Curran Associates公司,Red Hook(2013)
[24] Pollock,M.、Fearnhead,P.、Johansen,A.M.、Roberts,G.O.:可扩展的Langevin精确算法:大数据的贝叶斯推断。(2016). https://arxiv.org/abs/1609.03436
[25] Ripley,B.D.:随机模拟。霍博肯·威利(2009)·兹比尔0613.65006
[26] Robbins,H.,Monro,S.:一种随机近似方法。安。数学。《美国联邦法律大全》第22(3)卷,第400-407页(1951年)·兹比尔0054.05901 ·doi:10.1214/aoms/1177729586
[27] Roberts,G.O.,Tweedie,R.L.:朗之万分布及其离散近似的指数收敛性。伯努利2(4),341-363(1996)·Zbl 0870.60027号 ·doi:10.2307/3318418
[28] Teh,Y.W.,Thieéry,A.H.,Vollmer,S.J.:随机梯度Langevin动力学的一致性和波动。J.马赫。学习。第17(7)号决议,1-33(2016)·Zbl 1360.60144号
[29] Tran,D.,Kucukelbir,A.,Dieng,A.B.,Rudolph,M.,Liang,D.,Blei,D.M.:爱德华:概率建模、推理和批评库。(2016). https://arxiv.org/abs/1610.09787
[30] Vollmer,S.J.,Zygalakis,K.C.:随机梯度Langevin动力学的(非)渐近性质。J.马赫。学习。第17(159)号决议,1-48(2016)·Zbl 1391.60178号
[31] Welling,M.,Teh,Y.W.:通过随机梯度Langevin动力学进行贝叶斯学习。摘自:《第28届机器学习国际会议论文集》,第681-688页(2011年)
[32] Li Wenzhe,Sungjin Ahn,M.W.:混合成员随机块模型的可伸缩MCMC。摘自:《第19届人工智能与统计国际会议论文集》,第723-731页(2016)
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。