Victor M.H.Ong。;大卫·J·诺特。;Tran、Minh-Ngoc;斯科特·西森。;克里斯托弗·德罗万迪。 具有合成似然的变分贝叶斯。 （英语） Zbl 1384.65015号 统计计算。 28，第4号，971-988（2018）. 摘要：当数据的近似高斯摘要统计可用时，合成似然法是一种很有吸引力的无似然推断方法，可为参数推断提供信息。综合似然法从汇总统计量的插件正态密度估计中导出近似似然函数，插件均值和协方差矩阵通过蒙特卡罗模拟从模型中获得。在本文中，我们开发了贝叶斯合成可能性的马尔可夫链蒙特卡罗实现的替代方案，减少了计算开销。我们的方法使用随机梯度变分推理方法在合成似然背景下进行后验近似，并使用对数似然的无偏估计。我们将新方法与文献中相关的类似无约束变分推理技术进行了比较，同时以多种方式改进了该方法的实现。这些新算法对于在参数和汇总统计的维度方面，在传统近似贝叶斯计算方法具有挑战性的情况下实现。 引用于14文件 MSC公司： 65C60个 统计中的计算问题（MSC2010） 2015年1月62日 贝叶斯推断 关键词：近似贝叶斯计算;随机梯度上升;合成可能性;变分贝叶斯 软件：GPS-ABC公司;PRMLT公司;ADVI公司;阿达德尔塔 PDF格式BibTeX公司 XML格式引用 \textit{V.M.H.Ong}等人，《统计计算》。28，第4号，971--988（2018；Zbl 1384.65015） 全文： 内政部 arXiv公司 参考文献： [1] Adler，R.J.，Feldman，R.E.，Taqqu，M.S.（编辑）：重尾实用指南：统计技术与应用。伯克豪斯波士顿公司，剑桥（1998）·Zbl 0901.00010号 [2] Allingham，D.R.，King，A.R.，Mengersen，K.L.：分位数分布的贝叶斯估计。统计计算。19, 189-201 (2009) ·数字对象标识代码：10.1007/s11222-008-9083-x [3] Amari，S.：自然梯度在学习中有效。神经计算。10, 251-276 (1998) ·doi:10.1162/08997669830017746 [4] Andrieu，C.，Roberts，G.O.：有效蒙特卡罗计算的伪边缘方法。Ann.Stat.37（2），697-725（2009）·Zbl 1185.60083号 ·doi:10.1214/07-AOS574 [5] Barthemé，S.，Chopin，N.：无相似推理的期望传播。《美国统计协会期刊》109（505），315-333（2014）·Zbl 1367.62063号 ·doi:10.1080/01621459.2013.864178 [6] 博蒙特，M.A.：对基因监测种群的种群增长或下降的估计。遗传学164（3），1139-1160（2003） [7] Bishop，C.M.：模式识别和机器学习。柏林施普林格出版社（2006）·Zbl 1107.68072号 [8] Blum，M.G.B.，Nunes，M.A.，Prangle，D.，Sisson，S.A.：近似贝叶斯计算中降维方法的比较评述。统计科学。28(2), 189-208 (2013) ·Zbl 1331.62123号 ·doi:10.1214/12-STS406 [9] Bottou，L.：具有随机梯度下降的大规模机器学习。收录于：Lechevallier，Y.，Saporta，G.（编辑）《第19届国际计算统计会议论文集》（COMPSTAT’2010），第177-187页。柏林施普林格出版社（2010年）·Zbl 1436.68293号 [10] Box，G.E.P.：科学建模和稳健性中的抽样和贝叶斯推断（附讨论）。J.R.Stat.Soc.系列。A 143，383-430（1980）·Zbl 0471.62036号 ·doi:10.2307/2982063 [11] Brown，V.L.，Drake，J.M.，Barton，H.D.，Stallknecht，D.E.，Brown，J.D.，Rohani，P.：禽流感病毒的中性、交叉免疫和亚型优势。PLOS ONE 9（2），1-10（2014） [12] Doucet，A.，Pitt，M.K.，Deligiannidis，G.，Kohn，R.：使用无偏似然估计量时马尔可夫链蒙特卡罗的有效实现。《生物特征》102（2），295-313（2015）。doi:10.1093/biomet/asu075·Zbl 1452.62055号 ·doi:10.1093/biomet/asu075 [13] Drovandi，C.C.，Pettitt，A.N.：多元分位数分布的无似然贝叶斯估计。计算。统计数据分析。55, 2541-2556 (2011) ·兹比尔1464.62062 ·doi:10.1016/j.csda.2011.03.019 [14] Drovandi，C.C.，Pettitt，A.N.，Faddy，M.J.：使用间接推理的近似贝叶斯计算。J.R.Stat.Soc.系列。C（应用统计）60（3），503-524（2011） [15] Dutta，R.、Corander，J.、Kaski，S.、Gutmann，M.U.：惩罚Logistic回归的无似然推断。arXiv:1611.10242（2016）·Zbl 1384.62089号 [16] Everitt，R.G.，Johansen，A.M.，Rowing，E.，Evdemon-Hogan，M.：贝叶斯模型与非标准化可能性的比较。统计计算。27(2), 403-422 (2017) ·Zbl 1505.62139号 ·doi:10.1007/s11222-016-9629-2 [17] Fasiolo，M.，Pya，N.，Wood，S.N.：生态学和流行病学中高度非线性状态空间模型的推理方法比较。统计科学。31、96-118（2016a）·Zbl 1442.62349号 ·doi:10.1214/15-STS534 [18] Fasiolo，M.，Wood，S.N.，Hartig，F.，Bravington，M.V.：难处理可能性的扩展经验鞍点近似。arXiv:1601.01849（2016b）·Zbl 1395.62338号 [19] Fisher，R.A.，Yates，F.：生物、农业和医学研究统计表。纽约哈夫纳（1948）·Zbl 0030.31503号 [20] Gelman，A.，Meng，X.L.，Stern，H.：通过已实现差异对模型适合性进行后验预测评估。统计正弦。6, 733-807 (1996) ·Zbl 0859.62028号 [21] Ghurye，S.G.，Olkin，I.：一些多元概率密度和相关函数的无偏估计。安。数学。《美国联邦法律大全》第40（4）卷第1261-1271页（1969年）·Zbl 0202.17103号 ·doi:10.1214/aoms/1177697501 [22] Gunawan，D.，Tran，M.N.，Kohn，R.：使用变分贝叶斯快速推断难处理的似然问题。工作文件，商业分析学科，悉尼大学。http://hdl.handle.net/2123/14594 (2016) [23] Gutmann，M.U.，Corander，J.：基于模拟器的统计模型的无似然推理的贝叶斯优化。J.马赫。学习。第17（125）号决议，1-47（2015）·Zbl 1392.62072号 [24] Hartig，F.、Dislich，C.、Wiegand，T.、Huth，A.：技术说明：基于过程的热带森林模型的近似贝叶斯参数化。生物地球科学11，1261-1272（2014）·doi:10.5194/bg-11-1261-2014年 [25] 霍夫曼，M.D.，布莱，D.M.，王，C.，佩斯利，J.：随机变分推理。J.马赫。学习。第14（1）号决议，1303-1347（2013）·兹伯利1317.68163 [26] Ji，C.，Shen，H.，West，M.：边际可能性的有界近似。技术报告10-05，杜克大学决策科学研究所。http://ftp.stat.duke.edu/WorkingPapers/10-05.html (2010) ·Zbl 1443.62499号 [27] Joe，H.：多元模型和相关性概念。查普曼和霍尔，伦敦（1997）·Zbl 0990.62517号 ·doi:10.1201/b13150 [28] Kingma，D.P.，Welling，M.：自动编码变分贝叶斯。arXiv:1312.6114（2013） [29] Kucukelbir，A.、Tran，D.、Ranganath，R.、Gelman，A.、Blei，D.M.：自动微分变分推理。J.马赫。学习。第18（14）号决议，1-45（2017）·Zbl 1437.62109号 [30] Li，J.，Nott，D.J.，Fan，Y.，Sisson，S.A.：通过高斯copula将近似贝叶斯计算方法扩展到高维。计算。统计数据分析。106, 77-89 (2017) ·Zbl 1466.62136号 [31] Magnus，J.R.，Neudecker，H.：矩阵微分学及其在统计学和计量经济学中的应用。威利，纽约（1999）·Zbl 0912.15003号 [32] Marin，J.M.、Pudlo，P.、Robert，C.P.、Ryder，R.J.：近似贝叶斯计算方法。统计计算。22(6), 1167-1180 (2012) ·Zbl 1252.62022号 ·doi:10.1007/s11222-011-9288-2 [33] McCulloch，J.：稳定分布参数的简单一致估计。Commun公司。统计模拟。计算。15(4), 1109-1136 (1986) ·Zbl 0612.62028号 ·doi:10.1080/03610918608812563 [34] Meeds，E.，Welling，M.:GPS-ABC：高斯过程替代近似贝叶斯计算。摘自：《第三十届人工智能不确定性年会论文集》（UAI-14），第593-602页（2014）·Zbl 0859.62028号 [35] Moores，M.T.，Drovandi，C.C.，Mengersen，K.L.，Robert，C.P.：图像分析中近似贝叶斯计算的预处理。统计计算。25(1), 23-33 (2015) ·Zbl 1331.62158号 ·doi:10.1007/s11222-014-9525-6 [36] Moreno，A.，Adel，T.，Meeds，E.，Rehg，J.M.，Welling，M.：自动变分ABC。arXiv:1606.08549（2016） [37] Nott，D.，Tan，S.，Villani，M.，Kohn，R.：用变分方法和随机近似进行回归密度估计。J.计算。图表。Stat.21（3），797-820（2012）·数字标识代码：10.1080/10618600.2012.679897 [38] Ormerod，J.，Wand，M.：解释变分近似。《美国统计》第64卷第140-153页（2010年）·Zbl 1200.65007号 ·doi:10.1198/tast.2010.09058 [39] 佩斯利，J.W.，布莱，D.M.，乔丹，M.I.：随机搜索的变分贝叶斯推理。摘自：第29届国际机器学习会议（ICML-12）（2012） [40] Peters，G.W.，Sisson，S.A.，Fan，Y.：α稳定模型的无似然贝叶斯推断。计算。统计数据分析。56, 3743-3756 (2012) ·兹比尔1255.62071 ·doi:10.1016/j.csda.2010.10.004 [41] Pinheiro，J.C.，Bates，D.M.：方差-协方差矩阵的无约束参数化。统计计算。6(3), 289-296 (1996) ·doi:10.1007/BF00140873 [42] Pitt，M.K.，Silva，RdS，Giordani，P.，Kohn，R.：基于粒子滤波的马尔可夫链蒙特卡罗模拟方法的一些特性。《经济学杂志》。171(2), 134-151 (2012) ·Zbl 1443.62499号 ·doi:10.1016/j.jeconom.2012.06.004 [43] Price，L.F.，Drovandi，C.C.，Lee，A.C.，Nott，D.J.：贝叶斯综合可能性。J.计算。图表。Stat.（2016）（待发布）（2016）·Zbl 07498962号 [44] Ranganath，R.，Wang，C.，Blei，D.M.，Xing，E.P.：随机变分推理的自适应学习率。摘自：《第三十届国际机器学习会议论文集》（ICML-13），第298-306页（2013）·Zbl 1252.62022号 [45] Ranganath，R.，Gerrish，S.，Blei，D.M.：黑箱变分推理。国际Conf.Artif。智力。《统计》第33卷，第814-822页（2014年） [46] Rayner，G.，MacGillivray，H.：一类变换分布的加权分位数估计。计算。统计数据分析。39(4), 401-433 (2002) ·Zbl 1101.62323号 ·doi:10.1016/S0167-9473（01）00090-1 [47] 澳大利亚储备银行（2014）历史数据。http://www.rba.gov.au/statistics/histical-data.html。2014年9月16日访问 [48] Rezende，D.J.，Mohamed，S.，Wierstra，D.：深度生成模型中的随机反向传播和近似推理。摘自：《第31届国际机器学习会议论文集》（ICML-14），第1278-1286页（2014） [49] 里普利，B.D.：模式识别和神经网络。剑桥大学出版社，剑桥（1996）·Zbl 0853.62046号 ·doi:10.1017/CBO9780511812651 [50] Robbins，H.，Monro，S.：一种随机近似方法。安。数学。《美国联邦法律大全》第22（3）卷，第400-407页（1951年）·兹比尔0054.05901 ·doi:10.1214/aoms/1177729586 [51] Salimans，T.，Knowles，D.A.：通过随机线性回归的固定形式变分后验近似。贝叶斯分析。8(4), 837-882 (2013) ·兹比尔1329.62142 ·doi:10.1214/13-BA858 [52] Tan，L.S.L.，Nott，D.J.：稀疏精度矩阵的高斯变分近似。统计计算。(2017). doi:10.1007/s11222-017-9729-7·Zbl 1384.62105号 [53] Titsias，M.，Lázaro-Gredilla，M.：非共轭推理的双随机变分贝叶斯。摘自：第31届国际机器学习会议记录（ICML-14），第1971-1979页（2014）·Zbl 1101.62323号 [54] 提提亚斯，M。；Lázaro-Gredilla，M。；Cortes，C.（编辑）；劳伦斯，ND（编辑）；Lee，DD（编辑）；Sugiyama，M.（编辑）；Garnett，R.（编辑），黑箱变分推理的局部期望梯度，第28期，2638-2646（2015），Red Hook [55] Tran，M.N.，Nott，D.J.，Kohn，R.：具有棘手可能性的变分贝叶斯。arXiv:1503.08621v1（2015年） [56] Tran，M.N.，Nott，D.J.，Kohn，R.：具有棘手可能性的变分贝叶斯J.Comput。图表。统计（2016年）（待公布） [57] Wand，M.P.：非共轭变分信息传递中的完全简化多元正态更新。J.马赫。学习。第15号决议，1351-1369（2014）·Zbl 1319.62066号 [58] Wilkinson，R.：使用高斯过程加速ABC方法。J.马赫。学习。第33号决议，1015-1023（2014年） [59] Wood，S.N.：噪声非线性生态动力系统的统计推断。《自然》4661102-1107（2010）·doi:10.1038/nature09319 [60] 医学博士泽勒：ADADELTA：一种自适应学习率方法。arXiv:12122.5701（2012） 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。