维克多·M·H·翁。;大卫·J·诺特。;Tran、Minh-Ngoc;斯科特·西森。;克里斯托弗·德罗万迪（Christopher C.Drovandi）。 具有合成似然的高维无似然推理。 （英语） Zbl 1469.62123号 计算。统计数据分析。 128, 271-291 (2018). 摘要：无似然推理的一种流行方法是合成似然法，该方法假设一些关于模型参数的信息性数据摘要统计数据对于每个参数值都近似为高斯分布。基于此假设，可以构造高斯似然，其中汇总统计的均值和协方差矩阵通过蒙特卡罗估计。当前工作的目标是改进最近在文献中引入的贝叶斯综合似然的变分实现，以便将该方法应用于高维问题。在这里，高维可能意味着超过100个参数的问题。所介绍的改进与综合似然估计中协方差矩阵的收缩估计有关，改进了随机梯度方差减少的控制变量方法的实现，以及根据因子结构对变分正态后验协方差矩阵进行简约但有表现力的参数化，以降低优化问题的维数。收缩协方差估计对于具有噪声似然估计的随机梯度优化的稳定性尤为重要。然而，随着维数的增加，除非用于估计合成似然的蒙特卡罗样本数量也增加，否则后验近似的质量会恶化。我们在一些实际例子中探讨了该方法的特性，这些例子中要么是汇总统计数据的数量，要么是模型参数的数量，或者两者都很大。 引用于8文件 MSC公司： 62-08 统计问题的计算方法 62英尺15英寸 贝叶斯推断 关键词：近似贝叶斯计算;随机梯度上升;综合似然;变分贝叶斯 软件：GPS-ABC公司;玻璃制品 PDF格式BibTeX公司 XML格式引用 \textit{V.M.H.Ong}等人，计算。统计数据分析。128、271--291（2018；Zbl 1469.62123） 全文： 内政部 链接 参考文献： [1] 阿林厄姆·D·R。；金·A.R。；Mengersen，K.L.，分位数分布的贝叶斯估计，统计计算。，19, 189-201, (2009) [2] An，Z.，Drovandi，C.C.，Nott，D.J.，2016年。使用图形套索加速贝叶斯合成似然。昆士兰科技大学技术报告，网址https://eprints.qut.edu.au/102263/; An，Z.，Drovandi，C.C.，Nott，D.J.，2016年。使用图形套索加速贝叶斯合成似然。昆士兰科技大学技术报告，网址https://eprints.qut.edu.au/102263/ [3] Andrieu，C。；Roberts，G.O.，《有效蒙特卡罗计算的伪边缘方法》，《统计年鉴》。，37, 2, 697-725, (2009) ·Zbl 1185.60083号 [4] Attias，H.，《利用变分Bayes推断潜在变量模型的参数和结构》，（Laskey，K.；Prade，H.《第十五届人工智能不确定性会议论文集》，（1999），加利福尼亚州旧金山摩根考夫曼），21-30 [5] 巴托洛缪，D.J。；Knott，M。；Moustaki，I.，《潜在变量模型和因子分析：统一方法》，第3版，（2011年），John Wiley&Sons·Zbl 1266.62040号 [6] Beaumont，M.A.，基因监测人群中人口增长或下降的估计，遗传学，164，3，1139-1160，（2003） [7] 布鲁姆，M.G.B。；Nunes，医学硕士。；Prangle，D。；Sisson，S.A.，《近似贝叶斯计算中降维方法的比较综述》，Statist。科学。，28, 2, 189-208, (2013) ·Zbl 1331.62123号 [8] Bottou，L.，随机梯度下降的大尺度机器学习，（Lechevallier，Y.；Saporta，G.，《第19届国际计算统计会议论文集》（COMPSTAT’2010），（2010），Springer），177-187·Zbl 1436.68293号 [9] Cai，T.T。；任，Z。；Zhou，H.H.，估计结构化高维协方差和精度矩阵：最优速率和自适应估计，电子。J.Stat.，10，1-59，（2016）·Zbl 1331.62272号 [10] Doucet，A。；皮特，M.K。；Deligiannidis，G。；Kohn，R.，《使用无偏似然估计量时马尔可夫链蒙特卡罗的有效实现》，生物特征，102，2，295-313，（2015）·Zbl 1452.62055号 [11] Drovandi，C.C。；Pettitt，A.N.，多元分位数分布的无似然贝叶斯估计，计算。统计师。数据分析。，55, 2541-2556, (2011) ·Zbl 1464.62062号 [12] Dutta，R.，Corander，J.，Kaski，S.，Gutmann，M.U.，2016.通过惩罚逻辑回归进行无似然推断，arXiv:1611.10242；Dutta，R.，Corander，J.，Kaski，S.，Gutmann，M.U.，2016.通过惩罚逻辑回归进行无似然推断，arXiv:1611.10242·Zbl 1384.62089号 [13] 法西奥罗，M。；北卡罗来纳州皮亚。；Wood，S.N.，生态学和流行病学中高度非线性状态空间模型推理方法的比较，Statist。科学。，96年11月31日（2016年）·Zbl 1442.62349号 [14] Fasiolo，M.，Wood，S.N.，Hartig，F.，Bravington，M.V.，2016年。不可测可能性的扩展经验鞍点逼近，arXiv:1601.01849；Fasiolo，M.，Wood，S.N.，Hartig，F.，Bravington，M.V.，2016年。不可测可能性的扩展经验鞍点逼近，arXiv:1601.01849·Zbl 1395.62338号 [15] Fisher，R.A。；Yates，F.，《生物、农业和医学研究统计表》（1948年），纽约哈夫纳·Zbl 0030.31503号 [16] 弗里德曼，J。；哈斯蒂，T。；Tibshirani，R.，用图形套索进行稀疏逆协方差估计，生物统计学，9，3，432-441，（2008）·Zbl 1143.62076号 [17] Gelman，A。；孟，X.L。；Stern，H.，通过实际差异对模型适合性进行后验预测评估，Statist。Sinica，6733-807，（1996年）·Zbl 0859.62028号 [18] Geweke，J。；周刚，《套利定价理论的定价误差测量》，《金融评论》。螺柱，9557-587（1996） [19] Ghurye，S.G。；Olkin，I.，《一些多元概率密度和相关函数的无偏估计》，《数学年鉴》。统计人员。，40, 4, 1261-1271, (1969) ·Zbl 0202.17103号 [20] Gutmann，M.U。；Corander，J.，基于仿真器的统计模型的无似然推理的贝叶斯优化，J.Mach。学习。Res.，17125，1-47，（2016）·Zbl 1392.62072号 [21] Ji，C.，Shen，H.，West，M.，2010。边际可能性的有界近似。杜克大学决策科学研究所技术报告10-05。；Ji，C.，Shen，H.，West，M.，2010。边际可能性的有界近似。技术报告10-05，杜克大学决策科学研究所。 [22] 约旦医学院。；Ghahramani，Z。；Jaakkola，T.S。；Saul，L.K.，《图形模型变分方法简介》，马赫。学习。，37, 183-233, (1999) ·Zbl 0945.68164号 [23] Kingma，D.P.，Welling，M.，《自动编码变分贝叶斯》。arXiv:1312.6114；Kingma，D.P.，Welling，M.，《自动编码变分贝叶斯》。arXiv:1312.6114 [24] Li，J.等人。；诺特，D.J。；范，Y。；Sisson，S.A.，通过高斯copula将近似贝叶斯计算方法扩展到高维，Comput。统计师。数据分析。，106, 77-89, (2017) ·Zbl 1466.62136号 [25] Marin，J.M。；Pudlo，P。；罗伯特·C·P。；Ryder，R.J.，近似贝叶斯计算方法，统计计算。，22, 6, 1167-1180, (2012) ·Zbl 1252.62022号 [26] Meeds，E。；伦德斯，R。；Welling，M.，Hamiltonian ABC，（第三十一届人工智能不确定性会议论文集，2015年7月12日至16日，荷兰阿姆斯特丹，（2015）），582-591 [27] Meeds，E。；Welling，M.，GPS-ABC：高斯过程替代近似贝叶斯计算，（第三十届人工智能不确定性年会论文集（UAI-14），（2014）），593-602 [28] Miller，A.C.，Foti，N.，Adams，R.P.，《变分推进：迭代优化后验近似》，arXiv:1611.06585；Miller，A.C.，Foti，N.，Adams，R.P.，《变分推进：迭代优化后验近似》，arXiv:1611.06585 [29] 摩尔，麻省理工学院。；Drovandi，C.C。；Mengersen，K.L。；Robert，C.P.，图像分析中近似贝叶斯计算的预处理，统计计算。，25, 1, 23-33, (2015) ·Zbl 1331.62158号 [30] Moreno，A.，Adel，T.，Meeds，E.，Rehg，J.M.，Welling，M.，2016年。自动变分ABC。arXiv1606.08549；Moreno，A.，Adel，T.，Meeds，E.，Rehg，J.M.，Welling，M.，2016年。自动变分ABC。arXiv1606.08549型 [31] Neudecker，H。；Liu，S.，随机向量Hadamard乘积的统计性质，统计量。论文，42，529-533，（2001）·Zbl 1099.62516号 [32] 诺特·D。；Tan，S。；维拉尼，M。；Kohn，R.，《用变分方法和随机近似进行回归密度估计》，J.Compute。图表。统计人员。，21, 3, 797-820, (2012) [33] Ong，V.M.H。；诺特，D.J。；Smith，M.S.，具有因子协方差结构的高斯变分近似，计算机J。图表。统计人员。，（2018），（印刷中） [34] Ong，V.M.H。；诺特·D·J。；Tran，M.N。；Sisson，S。；Drovandi，C.，《综合似然变分贝叶斯》，统计计算。，28, 4, 971-988, (2018) ·Zbl 1384.65015号 [35] 奥尔默罗德，J。；Wand，M.，解释变分近似，Amer。统计人员。，64, 140-153, (2010) ·Zbl 1200.65007号 [36] 佩斯利，J.W。；布莱，D.M。；Jordan，M.I.，《随机搜索的变分贝叶斯推理》（第29届机器学习国际会议论文集（ICML-12），（2012）） [37] 彼得斯，G。；Sisson，S.，贝叶斯推断，蒙特卡洛抽样和操作风险，J.Oper。风险，1,3,27-50，（2006） [38] 皮涅罗，J.C。；贝茨，D.M.，方差-方差矩阵的无约束参数化，统计计算。，6, 3, 289-296, (1996) [39] 价格，L.F。；Drovandi，C.C。；A.C.李。；Nott，D.J.，贝叶斯综合似然，J.Comput。图表。统计人员。，27, 1, 1-11, (2018) ·Zbl 07498962号 [40] Ranganath，R。；Gerrish，S。；Blei，D.M.，黑箱变分推理，（国际人工智能与统计会议，第33卷，（2014）），814-822 [41] Ranganath，R。；王，C。；布莱，D.M。；Xing，E.P.，随机变分推理的自适应学习率，（第三十届国际机器学习会议论文集（ICML-13），（2013），298-306 [42] 雷纳，G。；MacGillivray，H.，一类变换分布的加权分位数估计，计算。统计师。数据分析。，39, 4, 401-433, (2002) ·Zbl 1101.62323号 [43] 澳大利亚储备银行2014年，历史数据。http://www.rba.gov.au/统计/历史数据.html最后; 澳大利亚储备银行2014年，历史数据。http://www.rba.gov.au/statistics/histrical-data.html最后 [44] Rezende，D.J。；穆罕默德，S。；Wierstra，D.，深度生成模型中的随机反向传播和近似推理，（第31届机器学习国际会议论文集（ICML-14），（2014），1278-1286 [45] 里普利，B.D.，模式识别和神经网络，（1996），剑桥大学出版社·Zbl 0853.62046号 [46] 罗宾斯，H。；Monro，S.，《随机近似方法》，《数学年鉴》。统计人员。，22, 3, 400-407, (1951) ·Zbl 0054.05901号 [47] Salimans，T。；Knowles，D.A.，通过随机线性回归的固定形式变分后验近似，贝叶斯分析。，8, 4, 837-882, (2013) ·Zbl 1329.62142号 [48] 提提亚斯，M。；Lázaro-Gredilla，M.，黑箱变分推理的局部期望梯度，（Cortes，C.；Lawrence，N.D.；Lee，D.D.；Sugiyama，M.；Garnett，R.，《神经信息处理系统进展》28，（2015），Curran Associates，Inc.），2638-2646 [49] Tran，M.N。；诺特·D·J。；Kohn，R.，《具有难以处理的可能性的变分贝叶斯》，J.Compute。图表。统计人员。，26, 4, 873-882, (2017) [50] Warton，D.I.，相关和协方差矩阵的惩罚正态似然和岭正则化，J.Amer。统计师。协会，103，340-349，（2008）·Zbl 1471.62362号 [51] Wilkinson，R.，《使用高斯过程加速ABC方法》，J.Mach。学习。决议，33，1015-1023，（2014） [52] Winn，J。；Bishop，C.M.，变体消息传递，J.Mach。学习。第661-694号决议，（2005年）·Zbl 1222.68332号 [53] Wood，S.N.，噪声非线性生态动力系统的统计推断，《自然》，4661102-1107，（2010） 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。