欧文·托马斯;里塔布拉塔·杜塔;朱卡·科兰德;塞缪尔·卡斯基;迈克尔·古特曼（Michael U。Gutmann）。 通过比率估计进行无似然推理。 （英语） Zbl 07809841号 贝叶斯分析。 17，1号，1-31（2022）. 小结：当似然计算费用高昂，但可以从模型中采样时，我们考虑参数统计推断问题。已经开发了几种所谓的无似然方法，用于在没有似然函数的情况下进行推理。流行的合成似然法通过高斯概率分布对数据的汇总统计建模来推断参数。在另一种称为近似贝叶斯计算的流行方法中，推理是通过识别参数值来进行的，对于这些参数值，模拟数据的汇总统计数据与观测数据的统计数据接近。合成可能性更容易使用，因为不需要测量“接近度”，但高斯假设通常是有限的。此外，这两种方法都需要精心选择的汇总统计数据。我们在此提出了一种替代推理方法，该方法与合成似然法一样易于使用，但不受其假设的限制，并且能够以自然的方式从大量候选数据中自动选择相关的汇总统计数据。其基本思想是将后验估计问题框定为估计数据生成分布和边际分布之间的比率的问题。这个问题可以通过逻辑回归来解决，包括规则化的惩罚条款可以自动选择与推理任务相关的汇总统计信息。我们阐述了典型示例的一般理论，并将其用于对具有挑战性的随机非线性动力系统和高维汇总统计进行推理。 引用于2文件 MSC公司： 62至XX 统计 关键词：近似贝叶斯计算;密度比估算;无似然推理;逻辑回归;概率分类;随机动力系统;摘要统计信息选择;综合似然 软件：卡尔;格尔姆奈特;GPS-ABC公司;美国广播公司无线电频率 PDF格式BibTeX公司 XML格式引用 \textit{O.Thomas}等人，《贝叶斯分析》。17，编号1，1-31（2022；Zbl 07809841） 全文： 内政部 arXiv公司 链接 参考文献： [1] 埃施巴赫（Esechbacher，S.）、博蒙特（Beaumont，M.）和福斯克（Futschik，A.）（2012年）。“在近似贝叶斯计算中选择摘要统计的一种新方法。”遗传学, 192(3): 1027-1047. [2] An，Z.，South，L.，Nott，D.和Drovandi，C.（2019年）。“使用图形套索加速贝叶斯合成可能性。”计算与图形统计学杂志, 28(2): 471-475. ·Zbl 07499068号 ·doi:10.1080/10618600.2018.1537928 [3] Andrieu，C.和Roberts，G.O.（2009年）。“有效蒙特卡罗计算的伪边缘方法。”统计年刊, 37(2): 697-725. ·Zbl 1185.60083号 ·doi:10.1214/07-AOS574 [4] Arnold，B.、Gutmann，M.、Grad，Y.、Sheppard，S.、Corander，J.、Lipsitch，M.和Hanage，W.（2018）。“弱上位性可能会推动重组细菌的适应。”遗传学, 208(3): 1247-1260. [5] Beaumont，M.A.（2010年）。“进化与生态学中的近似贝叶斯计算”生态学、进化和系统学年鉴, 41(1): 379-406. ·doi:10.1146/annurev-statistics-030718-105212 [6] Beaumont，M.A.、Zhang，W.和Balding，D.J.（2002）。“人口遗传学中的近似贝叶斯计算。”遗传学, 162(4): 2025-2035. [7] Bickel，S.、Brückner，M.和Scheffer，T.（2007）。“针对不同训练和测试分布的歧视性学习”第24届机器学习国际会议记录，ICML’07，81-88。美国纽约州纽约市：ACM。 [8] Blum，M.G.B.（2010年）。“近似贝叶斯计算：非参数视角。”美国统计协会杂志, 105(491): 1178-1187. ·Zbl 1390.62052号 ·doi:10.1198/jasa.2010.tm09448 [9] Blum，M.G.B.、Nunes，M.A.、Prangle，D.和Sisson，S.A.（2013年）。“近似贝叶斯计算中降维方法的比较综述。”统计科学, 28(2): 189-208. ·兹比尔1331.62123 ·doi:10.1214/12-STS406 [10] Cappé，O.、Guillin，A.、Marin，J.-M.和Robert，C.P.（2004）。“人口蒙特卡洛。”计算与图形统计学杂志, 13(4): 907-929. ·doi:10.1198/106186004X12803 [11] Carnahan，B.、Luther，H.A.和Wilkes，J.O.（1969年）。应用的数值方法纽约：Wiley·Zbl 0195.44701号 [12] Chen，Y.和Gutmann，M.U.（2019年）。“自适应高斯Copula ABC”，摘自Chaudhuri，K.和Sugiyama，M.（编辑），机器学习研究进展，第89卷，共页机器学习研究进展, 1584-1592. PMLR公司。 [13] Cheng，K.和Chu，C.（2004）。“双样本密度比模型下的半参数密度估计。”伯努利, 10(4): 583-604. ·兹比尔1055.62032 ·doi:10.3150/bj/1093265631 [14] Corander，J.、Fraser，C.、Gutmann，M.、Arnold，B.、Hanage，W.、Bentley，S.、Lipsitch，M.和Croucher，N.（2017年）。“疫苗相关肺炎链球菌种群动态中的频率依赖性选择。”自然生态与进化, 1: 1950-1960. [15] Cranmer，K.、Pavez，J.和Louppe，G.（2015）。“使用校准的判别分类器近似似然比。”ArXiv公司：1506.02169. [16] Del Moral，P.、Doucet，A.和Jasra，A.（2006年）。“连续蒙特卡罗采样器。”英国皇家统计学会：B辑（统计方法）, 68(3): 411-436. ·Zbl 1105.62034号 ·文件编号：10.1111/j.1467-9868.2006.00553.x [17] Dinev，T.和Gutmann，M.（2018年）。“通过比率估计（DIRE）进行动态无似然推断。”arXiv:1810.09899. ·Zbl 1384.62089号 ·doi:10.1007/s11222-017-9738-6 [18] Durkan，C.、Murray，I.和Papamakarios，G.（2020年）。《关于无似然推理的对比学习》第三十七届国际机器学习会议（ICML）会议记录. [19] Dutta，R.、Bogdan，M.和Ghosh，J.（2012）。“模型选择和多重测试——贝叶斯和经验贝叶斯概述和一些新结果。”印度统计协会杂志, 50: 105-142. ·Zbl 1462.62176号 [20] Fearnhead，P.和Prangle，D.（2012年）。“为近似贝叶斯计算构建摘要统计：半自动近似贝叶斯计算。”英国皇家统计学会杂志：B辑（统计方法）, 74(3): 419-474. ·Zbl 1411.62057号 ·doi:10.1111/j.1467-9868.2011.01010.x [21] Friedman，J.、Hastie，T.和Tibshirani，R.（2010）。“通过坐标下降的广义线性模型的正则化路径。”统计软件杂志, 33(1): 1-22. [22] Geyer，C.J.（1994）。“估算归一化常数和重新加权混合物”，明尼苏达大学统计学院技术报告568。 [23] Goodfellow，I.、Pouget-Abadie，J.、Mirza，M.、Xu，B.、Warde-Farley，D.、Ozair，S.、Courville，A.和Bengio，Y.（2014）。《生成性对抗网》，收录于加赫拉马尼，Z.、威林，M.、科尔特斯，C.、劳伦斯，N.D.和温伯格，K.Q.（编辑），神经信息处理系统的进展27, 2672-2680. Curran Associates公司。 [24] Greenberg，D.、Nonnenmacher，M.和Macke，J.（2019年）。“无似然推理的自动后验变换”，摘自Chaudhuri，K.和Salakhutdinov，R.（eds.），第36届机器学习国际会议论文集，第97卷，共页机器学习研究进展, 2404-2414. [25] Gutmann，M.、Dutta，R.、Kaski，S.和Corander，J.（2014）。“通过分类进行无似然推理。”arXiv公司：1407.4981. ·Zbl 1384.62089号 ·doi:10.1007/s11222-017-9738-6 [26] Gutmann，M.、Dutta，R.、Kaski，S.和Corander，J.（2018年）。“通过分类进行无似然推理。”统计与计算, 28(2): 411-425. ·Zbl 1384.62089号 ·doi:10.1007/s11222-017-9738-6 [27] Gutmann，M.和Hirayama，J.（2011）。“Bregman散度作为估计非正规统计模型的一般框架。”人工智能不确定性会议记录, 283-290. 俄勒冈州科瓦利斯：AUAI出版社。 [28] Gutmann，M.U.和Corander，J.（2016）。“贝叶斯优化，用于基于模拟器的统计模型的无似然推理。”机器学习研究杂志, 17(125): 1-47. ·Zbl 1392.62072号 [29] Gutmann，M.U.和Hyvärinen，A.（2012年）。非标准化统计模型的噪声控制估计及其在自然图像统计中的应用机器学习研究杂志, 13: 307-361. ·兹比尔1283.62064 [30] Hakkarainen，J.、Ilin，A.、Solonen，A.、Laine，M.、Haario，H.、Tamminen，J、Oja，E.和Järvinen，H.（2012）。“关于混沌系统中的闭包参数估计。”地球物理中的非线性过程, 19(1): 127-143. [31] Hartig，F.、Calabrese，J.M.、Reineking，B.、Wiegand，T.和Huth，A.（2011年）。“随机模拟模型的统计推断——理论与应用”生态学快报, 14(8): 816-827. [32] Hastie，T.、Tibshirani，R.和Friedman，J.（2001）。统计学学习的要素《统计学中的斯普林格系列》。美国纽约州纽约市：施普林格纽约公司·Zbl 0973.62007号 ·doi:10.1007/978-0-387-84858-7 [33] Hermans，J.、Begy，V.和Louppe，G.（2020年）。“具有摊销近似比率估计值的无似然MCMC”第三十七届国际机器学习会议（ICML）会议记录. [34] Izbicki，R.、Lee，A.和Schafer，C.（2014）。“扩展到近似似然计算的高维密度比估计。”第七届国际人工智能与统计会议记录，第33卷，共页JMLR程序, 420-429. [35] Järvenpää，M.，Gutmann，M.、Vehtari，A.和Marttinen，P.（2018年）。“基于模型的近似贝叶斯计算的高效获取规则。”贝叶斯分析，正在印刷中·Zbl 1416.62453号 ·doi:10.1214/18-BA1121 [36] Jiang，B.、Wu，T.-y、Zheng，C.和Wong，W.H.（2018年）。“通过深度神经网络进行近似贝叶斯计算的学习摘要统计。”中国统计局. ·Zbl 1392.62073号 [37] Leuenberger，C.和Wegmann，D.（2010年）。“没有可能性的贝叶斯计算和模型选择。”遗传学, 184(1): 243-252. [38] Lintusari，J.、Gutmann，M.、Dutta，R.、Kaski，S.和Corander，J.（2017年）。“近似贝叶斯计算的基础和最新发展。”系统生物学，66（1）：e66-e82。 [39] Lorenz，E.（1995）。“可预测性：问题部分解决。”可预测性研讨会会议记录，1995年9月4日至8日第1卷，第1-18页。欧洲中期天气预报中心，新菲尔德公园，雷丁：欧洲中期天气预报中心。 [40] Marin，J.-M.、Pudlo，P.、Robert，C.和Ryder，R.（2012年）。“近似贝叶斯计算方法。”统计与计算, 22(6): 1167-1180. ·Zbl 1252.62022号 ·doi:10.1007/s11222-011-9288-2 [41] Marin，L.、J.M.ans Raynal、Pudlo，P.、Ribate，M.和Robert，C.（2016）。“贝叶斯参数推断的ABC随机森林。”arXiv:1605.05537. [42] Meeds，E.和Welling，M.（2014）。“GPS-ABC:高斯过程代理近似贝叶斯计算。”第三十届人工智能不确定性会议记录UAI'14，593-602年。AUAI出版社。 [43] Mohamed，S.和Lakshminarayanan，B.（2016）。“内隐生成模型中的学习。”arXiv公司：1610.03483. [44] Ong，V.、Nott，D.、Tran，M.-N.、Sisson，S.和Drovandi，C.（2018年）。“具有合成似然的高维无似然推理。”计算统计与数据分析, 128: 271-291. ·Zbl 1469.62123号 ·doi:10.1016/j.csda.2018.07.008 [45] Papamakaris，G.和Murray，I.（2016年）。“利用贝叶斯条件密度估计对模拟模型进行快速无ε推断”，收录于Lee，D.D.、Sugiyama，M.、Luxburg，U.V.、Guyon，I.和Garnett，R.（编辑），神经信息处理系统的进展29, 1028-1036. Curran Associates公司。 [46] Papamakarios，G.、Pavlakou，T.和Murray，I.（2017年）。“用于密度估计的掩蔽自回归流”神经信息处理系统研究进展, 2338-2347. [47] Papamakarios，G.、Sterrat，D.和Murray，I.（2019年）。“序列神经似然性：具有自回归流的快速无似然推断”，摘自Chaudhuri，K.和Sugiyama，M.（编辑），机器学习研究进展第89卷，第837-848页。机器学习研究论文集：PMLR。 [48] Pham，K.C.、Nott，D.J.和Chaudhuri，S.（2014年）。“关于使用灵活分类器近似ABC-MCMC的说明。”斯达, 3(1): 218-227. ·Zbl 07847438号 ·doi:10.1002/sta4.56 [49] Pihlaja，M.、Gutmann，M.和Hyvärinen，A.（2010年）。“非正规化统计模型的一系列计算效率高且简单的估计量。”第26届人工智能不确定性会议记录. [50] Price，L.F.、Drovandi，C.C.、Lee，A.和Nott，D.J.（2017年）。“贝叶斯合成似然。”计算与图形统计学杂志, 1-11. ·Zbl 07498962号 ·doi:10.1080/10618600.2017.1302882 [51] Pritchard，J.K.、Seielstad，M.T.、Perez-Lezaun，A.和Feldman，M.W.（1999）。“人类Y染色体的群体增长：Y染色体微卫星的研究。”分子生物学与进化, 16(12): 1791-1798. [52] 秦杰（1998）。“病例对照和半参数双样本密度比模型的推断。”生物特征, 85(3): 619-630. ·Zbl 0954.62053号 ·doi:10.1093/biomet/85.3.619 [53] Ricker，W.E.（1954）。“库存和招聘。”加拿大渔业研究委员会杂志, 11(5): 559-623. [54] Ripley，B.D.（1987）。随机模拟美国纽约：John Wiley&Sons Inc·Zbl 0613.65006号 ·数字对象标识代码：10.1002/9780470316726 [55] Rogers-Smith，C.、Pesonen，H.和Kaski，S.（2018年）。“通过人口蒙特卡罗和分类进行近似贝叶斯计算。”arXiv:1810.12233号. [56] Sirén，J.、Lens，L.、Cousseau，L.和Ovaskainen，O.（2018）。“通过使用近似贝叶斯计算拟合基于个体的模型来评估自然种群的动态。”方法生态进化, 9(5): 1286-1295. [57] Sisson，S.、Fan，Y.和Beaumont，M.（2018）。近似贝叶斯计算手册。，“近似贝叶斯计算概述”一章。查普曼和霍尔/CRC出版社·Zbl 1416.62005年 [58] Sugiyama，M.、Suzuki，T.和Kanamori，T.（2012年）。机器学习中的密度比估计。美国纽约：剑桥大学出版社，第1版·Zbl 1274.62037号 ·doi:10.1017/CBO9781139035613 [59] Tanaka，M.M.、Francis，A.R.、Luciani，F.和Sisson，S.A.（2006年）。“使用近似贝叶斯计算从基因型数据估计结核病传播参数。”遗传学, 173(3): 1511-1520. [60] Tavaré，S.、Balding，D.J.、Griffiths，R.C.和Donnelly，P.（1997）。“从DNA序列数据推断聚合时间。”遗传学, 145(2): 505-518. [61] Thomas，O.、Dutta，R.、Corander，J.、Kaski，S.和Gutmann，M.（2016）。“通过比率估计进行无似然推断。”arXiv:1611.10242号. [62] Thomas，O.、Dutta，R.、Corander，J.、Kaski，S.和Gutmann，M.（2020年）。“通过比率估计进行无似然推断”的补充材料。”贝叶斯分析. ·doi:10.1214/20-BA1238SUPP文件 [63] Tibshirani，R.（1994）。“通过套索进行回归收缩和选择。”英国皇家统计学会杂志，B辑（统计方法）, 58: 267-288. ·Zbl 0850.62538号 ·doi:10.1111/j.2517-6161.1996.tb02080.x [64] Tibshirani，R.J.和Taylor，J.（2012）。“套索问题的自由度。”统计年刊, 40(2): 1198-1232. ·Zbl 1274.62469号 ·doi:10.1214/12-AOS1003 [65] Wang，H.和Leng，C.（2007）。“通过最小二乘近似进行统一LASSO估计。”美国统计协会杂志, 102(479): 1039-1048. ·Zbl 1306.62167号 ·doi:10.1198/0162145000000509 [66] Wilkinson，R.D.（2014）。“使用高斯过程加速ABC方法。”人工智能与统计会议记录（AISTATS）第33卷。 [67] Wilks，D.S.（2005）。“Lorenz’96系统中随机参数化的影响。”英国皇家气象学会季刊, 131(606): 389-407. [68] Wood，S.N.（2010年）。“噪声非线性生态动力系统的统计推断。”自然, 466(7310): 1102-1104. ·Zbl 0483.34014号 [69] Zou，H.、Hastie，T.和Tibshirani，R.（2007）。“关于套索的“自由度”。”统计年刊, 35(5): 2173-2192 ·Zbl 1126.62061号 ·doi:10.1214/009053600700000127 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。