×
克里斯托弗·奈梅特；克里斯·夏洛克

通过高斯过程近似合并MCMC后验差。 （英语） Zbl 1407.62081号

贝叶斯分析。 13，编号2，507-530（2018）.
摘要：马尔可夫链蒙特卡罗（MCMC）算法已成为贝叶斯推理的强大工具。然而，它们不能很好地扩展到大数据问题。分而治之的策略将数据分成多个批次，并针对每个批次运行针对相应次后验的独立MCMC算法，可以将计算负担分散到多个单独的计算机核心上。这类策略的挑战在于重组后下骨，以接近全后骨。通过为每个对数次后验密度创建高斯过程近似值，我们为全后验密度建立了一个易于处理的近似值。该近似通过三种方法进行利用：首先，以后验密度期望为目标的哈密顿蒙特卡罗算法提供了后验近似的样本；其次，评估采样点的真实后验值会产生一个重要的采样器，该采样器渐近地以真实后验期望为目标；最后，一个替代的重要性采样器使用对数后验密度近似的全高斯过程分布来重新加权任何初始样本，并提供后验期望的估计和其中不确定性的测量。

引用于9文件

MSC公司：

2015年1月62日 贝叶斯推断
60J22型 马尔可夫链中的计算方法
65二氧化碳 蒙特卡罗方法

关键词：

大数据；马尔科夫蒙特卡洛；高斯过程；分布重要性抽样

软件：

坚果；斯坦
PDF格式BibTeX公司 XML格式引用
\textit{C.Nemeth}和\textit{C.Sherlock}，贝叶斯分析。13，第2号，507--530（2018；Zbl 1407.62081）
全文： 内政部 arXiv公司 欧几里得

参考文献：

[1] Andrieu，C.和Thoms，J.（2008）。“自适应MCMC教程”，《统计与计算》，18（4）：343–373。
[2] Bardenet，R.、Doucet，A.和Holmes，C.（2014）。“逐步扩大马尔可夫链蒙特卡罗：一种自适应子抽样方法”，《第31届机器学习国际会议论文集》，（4）：405-413。
[3] Beskos，A.、Pillai，N.、Roberts，G.、Sanz-Serna，J.-M.和Stuart，A.（2013）。“混合蒙特卡罗算法的最佳调整”，伯努利，19（5A）：1501–1534·Zbl 1287.60090号 ·文件编号：10.3150/12-BEJ414
[4] Carpenter，B.、Gelman，A.、Hoffman，M.、Lee，D.、Goodrich，B.、Betancourt，M.，Brubaker，M.A.、Guo，J.、Li，P.和Riddell，A.（2016）。“斯坦：一种概率编程语言”，《统计软件杂志》，20:1-37。
[5] Chen，T.、Fox，E.B.和Guestrin，C.（2014）。《随机梯度哈密尔顿蒙特卡罗》，第31届国际机器学习会议论文集，第32卷（2），1683-1691。
[6] Csató，L.和Opper，M.（2002年）。“稀疏在线高斯过程”，《神经计算》，14（2）：641-669·Zbl 0987.62060号
[7] Geweke，J.（1989）。“使用蒙特卡洛积分的计量经济学模型中的贝叶斯推断”，《计量经济学：计量经济学社会杂志》，57（6）：1317-1339·Zbl 0683.62068号 ·doi:10.2307/1913710
[8] Girolma，M.和Calderhead，B.（2011年）。“黎曼流形朗之万和哈密尔顿蒙特卡罗方法”，《皇家统计学会杂志：B辑（统计方法）》，73（2）：123–214·Zbl 1411.62071号
[9] Hjort，N.L.和Glad，I.K.（1995年）。“以参数开始的非参数密度估计”，《统计学年鉴》，23（3）：882-904·Zbl 0838.62027号 ·doi:10.1214/aos/1176324627
[10] Hoffman，M.和Gelman，A.（2014）。“无转取样器：在哈密尔顿蒙特卡罗中自适应设置路径长度”，《机器学习研究杂志》，15（2008）：30·Zbl 1319.60150号
[11] Liu，H.、Lafferty，J.和Wasserman，L.（2007）。“利用竞技动物进行高维稀疏非参数密度估计”，《第十一届国际人工智能与统计会议论文集》（AISTATS-07），2:283-290。
[12] Maclaurin，D.和Adams，R.P.（2014）。“萤火虫蒙特卡罗：具有数据子集的精确MCMC”，《第30届人工智能不确定性会议论文集》，543-552。
[13] Neal，R.M.（2010）。“MCMC使用哈密顿动力学”，摘自《马尔可夫链蒙特卡罗手册》（查普曼和霍尔/CRC现代统计方法手册），113-162·Zbl 1229.65018号
[14] Neiswanger，W.、Wang，C.和Xing，E.（2014）。“渐进精确，令人尴尬的并行MCMC”，《第30届人工智能不确定性会议论文集》，623-632。
[15] Nemeth，C.J.和Sherlock，C.（2017年）。补充“通过高斯过程近似合并MCMC次后验”贝叶斯分析。
[16] O'Hagan，A.（1978年）。“预测的曲线拟合和优化设计”，《皇家统计学会杂志》，B辑，40（1）：1-42·Zbl 0374.62070号
[17] Quiñonero Candela，J.、Rasmussen，C.E.和Herbrich，R.（2005年）。“稀疏近似高斯过程回归的统一观点”，《机器学习研究杂志》，6:1935-1959·Zbl 1222.68282号
[18] Quiroz，M.、Villani，M.和Kohn，R.（2014）。“通过有效的数据子采样加速MCMC。”arXiv预打印arXiv:1404:4178v1，（MCMC）：1–37。
[19] Rasmussen，C.和Williams，C.（2006年）。机器学习的高斯过程。麻省理工学院出版社·Zbl 1177.68165号
[20] Robert，C.和Casella，G.（1999年）。蒙特卡洛统计方法。Springer Verlag，纽约公司·Zbl 0935.62005号
[21] Roberts，G.O.、Gelman，A.和Gilks，W.（1997年）。“随机漫步都市算法的弱收敛性和最佳缩放”，《应用概率年鉴》，7（1）：110–120·Zbl 0876.60015号 ·doi:10.1214/aoap/1034625254
[22] Roberts，G.O.和Rosenthal，J.S.（1998年）。“朗之万扩散离散近似的最佳缩放”，《皇家统计学会杂志：B辑（统计方法）》，60（1）：255-268·Zbl 0913.60060号 ·doi:10.1111/1467-9868.00123
[23] Scott，S.L.、Blocker，A.W.、Bonassi，F.V.、Chipman，H.A.、George，E.I.和McCulloch，R.E.（2016）。“贝叶斯和大数据：共识蒙特卡罗算法”，《国际管理科学与工程管理杂志》，11（2）：78-88。
[24] Seeger，M.、Williams，C.和Lawrence，N.（2003年）。“快速向前选择以加快稀疏高斯过程回归”，第九届人工智能与统计国际研讨会。，2003
[25] Snelson，E.和Ghahramani，Z（2006）。《使用伪输入的稀疏高斯过程》，《神经信息处理系统》18。
[26] Tierney，L.（1996）。“一般状态空间马尔可夫链理论简介”，载于Gilks，W.、Richardson，S.和Spiegelhalter，D.（编辑），《马尔可夫链蒙特卡罗实践》，59-74。纽约：查普曼和霍尔出版社·兹比尔0849.60072
[27] Titsias，M.K.（2009）。“稀疏高斯过程中诱导变量的变分学习”，《国际人工智能与统计会议》，567-574。
[28] Wang，X.和Dunson，D.B.（2013）。“通过Weierstrass采样器并行化MCMC。”Arxiv预印本Arxiv:1312.4605。
[29] Wang，X.、Guo，F.、Heller，K.A.和Dunson，D.B.（2015）。“用随机划分树并行MCMC”，《神经信息处理系统进展》，451-459。
[30] Wang，Z.、Mohamed，S.和Freitas，N.（2013）。“自适应哈密顿量和黎曼流形蒙特卡罗采样器”，机器学习国际会议，1462-1470年。
[31] Welling，M.和Teh，Y.W.（2011年）。“通过随机梯度Langevin动力学进行贝叶斯学习”，《第28届机器学习国际会议（ICML）论文集》，681-688。
[32] Whye Teh，Y.、Thiéry，A.和Vollmer，S.（2016）。“随机梯度Langevin动力学的一致性和波动”，《机器学习研究杂志》，17（7）：1-33·Zbl 1360.60144号
[33] Wilkinson，D.J.（2005）。“并行贝叶斯计算”，《并行计算与统计手册》，477-509。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。