牛，济阳;约翰娜·迈耶;弗朗索瓦·萨维耶·布里奥尔 使用拟蒙特卡罗对难以处理的生成模型进行基于差异的推理。 （英语） Zbl 07690327号 电子。J.统计。 17，第1期，1411-1456（2023）. 摘要：难以解决的生成模型，或模拟器，是指其可能性不可用但可以抽样的模型。在这种情况下，大多数参数推断方法都需要计算数据和生成模型之间的一些差异。这是例如最小距离估计和近似贝叶斯计算的情况。这些方法需要从模型中模拟不同参数值的大量实现，当模拟是一种昂贵的操作时，这可能是一个重大挑战。在本文中，我们建议通过在模型的仿真中加强“样本多样性”来增强这种方法。这将通过使用准蒙特卡罗（QMC）点集来实现。我们的关键结果是样本复杂度界限，这表明，在生成器的平滑条件下，当使用三种最常见的差异（最大平均差异、Wasserstein距离和Sinkhorn散度）时，QMC可以显著减少获得给定精度水平所需的样本数。这一点得到了一项模拟研究的补充，该研究强调，在理论未涵盖的某些设置中，有时也可能提高精度。 MSC公司： 62-08 统计问题的计算方法 2015年1月62日 贝叶斯推断 65二氧化碳 蒙特卡罗方法 关键词：准蒙特卡罗;棘手的模型推断;最小距离估计;近似贝叶斯计算;生成模型;差异;样本复杂性 软件：日本宇宙航空公司;亚当;TensorFlow公司;科学Py;QMCPy公司;克;MMD GAN公司;蟒蛇;DR-ABC公司;电位计 PDF格式BibTeX公司 XML格式引用 \textit{Z.Niu}等人，《电子》。J.Stat.17，第1号，1411--1456（2023；Zbl 07690327） 全文： 内政部 arXiv公司 链接 参考文献： [1] M.Abadi、A.Agarwal、P.Barham、E.Brevdo、Z.Chen、C.Citro、G.Corrado、A.Davis、J.Dean、M.Devin、S.Ghemawat、I.Goodfellow、A.Harp、G.Irving、M.Isard、Y.Jia、R.Jozefowicz、L.Kaiser、M.Kudlur、J.Levenberg、D.Mane、R.Monga、S.Moore、D.Murray、C.Olah、M.Schuster、J.Shlens、B.Steiner、I.Sutskever、K.Talwar、P.Tucker。Vanhoucke、V.Vasudevan、F.Viégas、O.Vinyals、P.Warden、M.Wattenberg、M.Wicke、Y.Yu和X.Zheng。“TensorFlow：异构系统上的大规模机器学习”。在：arXiv:1603.04467 (2015). 软件可从tensorflow.org获得。 [2] R.A.Adams和J.J.F.Fournier。Sobolev空间第二版。第140卷。学术出版社，2006年。 [3] J.H.Ahrens和U.Dieter。“伽马分布、贝塔分布、泊松分布和二项式分布抽样的计算机方法”。在：计算12.3（1974年），第223-246页·Zbl 0285.65009号 [4] P.Alquier和M.Gerber。“通过最大平均偏差的通用稳健回归”。输入：arXiv:2006.00840 1（2020）。 [5] B.C.Arnold和H.K.T.Ng，“灵活的二元β分布”。在：多变量分析杂志102.8（2011），第1194-1202页·兹比尔1216.62020 [6] F.Bassetti、A.Bodini和E.Regazzini。“关于最小Kantorovich距离估计器”。在：统计与概率信件76.12（2006），第1298-1302页·1090.62030兹罗提 [7] K.Basu和A.B.Owen。“转变与哈代-克劳斯变异”。在：SIAM数值分析杂志54.3（2016），第1946-1966页·Zbl 1342.65099号 [8] 博蒙特硕士。“进化和生态学中的近似贝叶斯计算”。在：生态学、进化和系统学年鉴41.1（2010），第379-406页。 [9] M.A.Beaumont、W.Zhang和D.J.Balding。“群体遗传学中的近似贝叶斯计算”。在：遗传学162.4（2002），第2025-2035页。 [10] E.Bernton、P.E.Jacob、M.Gerber和C.P.Robert。“利用Wasserstein距离在生成模型中进行推断”。在：信息和推断8.4（2017），第657-676页·Zbl 1471.62269号 [11] E.Bernton、P.E.Jacob、M.Gerber和C.P.Robert。“使用Wasserstein距离的近似贝叶斯计算”。在：英国皇家统计学会杂志：B辑（统计方法）81.2（2019），第235-269页·Zbl 1420.62022号 [12] G.Beugnot、A.Genevay、K.Greenewald和J.Solomon。“使用量化改进近似最佳运输距离”。输入：arXiv:2102.12731（2021）。 [13] A.Bharti、F.-X.Briol和T.Pedersen。“用核校准随机无线信道模型的通用方法”。在：arXiv:2012.09612出现在IEEE天线和传播事务中(2020). [14] A.Bharti、M.Naslidnyk、O.Key、S.Kaski和F.-X.Briol。“无相似性推理最大平均差异的最优加权估计”。在：arXiv:2301.11674 (2023). [15] M.Bin-kowski、D.J.Sutherland、M.Arbel和A.Gretton。“MMD GAN解密”。在：学习代表国际会议. 2018. [16] J.Bradbury、R.Frostig、P.Hawkins、M.J.Johnson、C.Leary、D.Maclaurin、G.Necula、A.Paszke、J.VanderPlas、S.Wanderman-Millne和Q.Zhang。JAX：Python+NumPy程序的可组合转换。版本0.2.5。2018 [17] F.-X.Briol、A.Barp、A.B.Duncan和M.Girolma。“具有最大平均差异的生成模型的统计推断”。在：arXiv公司：1906.05944(2019). [18] F.-X.Briol、C.J.Oates、M.Girolma、M.A.Osborne和D.Sejdinovic。“概率积分：在统计计算中的作用？”摘自：统计科学34.1（2019），第1-22页·兹比尔1420.62135 [19] A.Buchholz和N.Chopin。“通过拟蒙特卡罗改进近似贝叶斯计算”。在：计算与图形统计杂志28.1（2019），第205-219页·Zbl 07499023号 [20] M.Cambou、M.Hofert和C.Lemieux。“copula模型的准随机数”。在：统计与计算27.5（2017），第1307-1329页·Zbl 1505.62085号 [21] E.Cameron和A.N.Pettitt。“天文模型分析的近似贝叶斯计算：高红移下星系人口统计和形态转换的案例研究”。在：皇家天文学会月报425.1（2012），第44-65页。 [22] B.-E.Cherief-Abdellatif和P.Alquier。“MMD-Bayes：通过最大平均偏差进行稳健的Bayes估计”。在：第二届近似贝叶斯推断进展研讨会论文集第118卷。PMLR，2020年，第1-21页。 [23] B.-E.Chérief-Abdellatif和P.Alquier。“参数MMD估计的有限样本特性：对错误指定和依赖的鲁棒性”。在：伯努利（出现）(2021). ·Zbl 07467718号 [24] S.C.Choi、F.J.Hickernell、M.McCourt、J.Rathinavel和A.Sorokin。QMCPy：一个准Monte Carlo Python库. 2020. [25] G.M.Constantine和T.H.Savits。“多元Faa di Bruno公式及其应用”。在：美国数学学会汇刊348.2（1996），第503-520页·Zbl 0846.05003号 [26] R.Crackel和J.Flegal。“一类灵活的二变量贝塔分布的贝叶斯推断”。在：统计计算与仿真杂志87.2（2017），第295-312页·Zbl 07191939号 [27] K.Cranmer、J.Brehmer和G.Louppe。“基于模拟推理的前沿”。在：美国国家科学院院刊117.48 (2020). ·Zbl 1485.62004号 [28] C.Dellaporta、J.Knoblauch、T.Damoulas和F.-X.Briol。“通过MMD后验自举对基于模拟器的模型进行鲁棒贝叶斯推理”。在：第25届国际人工智能与统计会议记录2022年，第943-970页。 [29] I.Deshpande、Z.Zhang和A.G.Schwing。“使用切分的Wasserstein距离进行生成建模”。在：IEEE计算机视觉和模式识别会议记录. 2018. [30] L.德夫罗伊。非均匀随机变量生成纽约等：施普林格，1986年·Zbl 0593.65005号 [31] J.Dick和F.Pillichshammer。数字网络和序列：差异理论和拟蒙特卡罗积分剑桥：剑桥大学出版社，2010年·Zbl 1282.65012号 [32] G.K.Dziugaite、D.M.Roy和Z.Ghahramani。“通过最大平均差优化训练生成性神经网络”。在：第三十一届人工智能不确定性会议记录2015年，第258-267页。 [33] H.Faure和C.Lemieux。“2008年广义Halton序列：比较研究”。在：美国计算机学会模型和计算机仿真汇刊19.4（2009），第1-31页·Zbl 1288.65003号 [34] J.Feydy、T.Séjourné、F.-X.Vialard、S.-I.Amari、A.Trouvé和G.Peyre。“使用Sinkhorn发散在最优运输和MMD之间插值”。在：国际人工智能与统计会议PMLR 89型。2019年，第2681-2690页。 [35] R.Flamary、N.Courty、A.Gramfort、M.Z.Alaya、A.Boisbunon、S.Chambon、L.Chapel、A.Corenflos、K.Fatras、N.Fournier、L.Gautheron、N.T.Gayraud、H.Janati、A.Rakotomamonjy、I.Redko、A.Rolet、A.Schutz、V.Seguy、D.J.Sutherland、R.Tavenard、A.Tong和T.Vayer。“POT:Python最佳传输”。在：机器学习研究杂志22.78（2021年），第1-8页。 [36] J.-J.Forneron。“混乱的矩方法”。在：arXiv:1911.09128 (2019). [37] N.Fournier和A.Guillin。“关于Wasserstein距离的收敛速度的经验测度”。在：概率论及其相关领域162.3-4（2015），第707-738页·Zbl 1325.60042号 [38] A.Genevay、L.Chizat、F.Bach、M.Cuturi和P.Gabriel。“Sinkhorn分歧的样本复杂性”。在：第二十二届国际人工智能与统计会议记录2019年，第1574-1583页。 [39] A.Genevay、G.Peyre和M.Cuturi，“学习具有Sinkhorn分歧的生成模型”。在：第二十届国际人工智能与统计会议记录2018年，第1608-1617页。 [40] P.-O.Goffard和P.J.Laub。“拟合和比较保险损失模型的近似贝叶斯计算”。在：arXiv:2007.03833 (2020). ·Zbl 1471.91459号 [41] I.Goodfellow、J.Pouget-Abadie、M.Mirza、B.Xu、D.Warde-Farley、S.Ozair、A.Courville和Y.Bengio。“生成性对抗网络”。在：神经信息处理系统研究进展第27卷。2014年，第2672-2680页。 [42] A.Gretton、K.Borgwardt、M.Rasch、B.Schölkopf和A.Smola。“双样本问题的核方法”。在：神经信息处理系统研究进展第19卷。2006年，第513-520页。 [43] M.Haynes、H.MacGillivray和K.Mengersen。“使用广义g-and-k分布的排名和选择规则的稳健性”。在：统计规划与推断杂志65（1997），第45-66页·Zbl 0955.62017号 [44] M.Hofert、A.Prasad和M.Zhu。“通过生成神经网络对多元分布进行准随机抽样”。在：计算与图形统计杂志(2021). ·Zbl 07499908号 [45] M.Hofert、A.Prasad和M.Zhu。“多元拟随机抽样与神经网络的应用”。在：arXiv:2012.08036 (2020). ·Zbl 07499908号 [46] B.Jiang、T.Y.Wu和W.H.Wong。“以Kullback-Leibler散度作为数据差异的近似贝叶斯计算”。在：国际人工智能与统计会议2018年，第1711-1721页。 [47] T.Kajihara、K.Yamazaki、M.Kanagawa和K.Fukumizu。“核递归ABC：具有难以处理的似然的点估计”。在：机器学习国际会议2018年，第2400-2409页。 [48] M.Kanagawa、P.Hennig、D.Sejdinovic和B.K.Sriperumbudur。“高斯过程和核方法：关于连接和等价的综述”。在：arXiv:1807.02582 (2018). [49] B.Karimi、B.Miasojedow、E.Moulines和H.-T.Wai。“有偏随机近似方案的非症状分析”。在：学习理论会议. 2019. [50] D.P.Kingma和J.Ba，《亚当：随机优化方法》。在：arXiv:1412.6980 (2014). [51] S.Kolouri、K.Nadjahi、U.Simsekli和S.Shahrampour。“概率分布的广义切片距离”。在：arxiv公司：02002.12537 (2020). [52] C.-L.Li、W.-C.Chang、Y.Cheng、Y.Yang和B.Poczos。“MMD GAN：深入理解力矩匹配网络”。在：神经信息处理系统研究进展第30卷。2017年，第2203-2213页。 [53] Y.Li、L.Kang和F.J.Hickernell。“改造后的低差异设计也低差异吗？”In:当代实验辞职、多元分析和数据挖掘施普林格出版社，2020年，第69-92页。 [54] Y.Li、K.Swersky和R.Zemel。“生成力矩匹配网络”。在：第32届机器学习国际会议论文集第37卷。2015年，第1718-1727页。 [55] S.Mak和V.R.Joseph。“支持点”。在：统计学年鉴46.6A（2018），第2562-2592页·Zbl 1408.62030号 [56] J.马图舍克。“在锚固箱的L2标识上”。在：复杂性杂志14.4（1998），第527-556页·Zbl 0942.65021号 [57] G.Mena和J.Niles-Weed。“熵最优输运的统计界：样本复杂性和中心极限定理”。在：神经信息处理系统研究进展第32卷。2019年，第4541-4551页。 [58] J.Mitrovic、D.Sejdinovic和Y.W.Teh。“DR-ABC：基于核的分布回归的近似贝叶斯计算”。在：机器学习国际会议3（2016年），第2209-2218页。 [59] S.Mohamed和B.Lakshminarayanan。“内隐生成模型中的学习”。在：arXiv:1610.03483 (2016). [60] A.穆勒。“积分概率度量及其函数生成类”。在：应用概率的进展29.2（1997），第429-443页·Zbl 0890.60011号 [61] K.Nadjahi、V.De Bortoli、A.Durmus、R.Badeau和U.íimšekli。“用切片-沃斯坦距离进行近似贝叶斯计算”。在：EEE国际声学、语音和信号处理会议（2020），第5470-5474页。 [62] K.Nadjahi、A.Durmus、L.Chizat、S.Kolouri、S.Shahrampour和U.íimšekli。“切片概率发散的统计和拓扑特性”。在：神经信息处理系统. 2020. [63] K.Nadjahi、A.Durmus、U.Simsekli和R.Badeau。“用分段沃斯坦距离学习生成模型的渐近保证”。在：神经信息处理系统研究进展第32卷。2019年，第250-260页。 [64] S.Nakagome、K.Fukumizu和S.Mano。“群体遗传推断中的核近似贝叶斯计算”。在：遗传学和分子生物学中的统计应用12.6（2013年），第667-678页。 [65] H.D.Nguyen、J.Arbel、H.Lu和F.Forbes。“通过能量统计进行近似贝叶斯计算”。在：IEEE接入8（2020年），第131683-131698页。 [66] K.Nguyen、N.Ho、T.Pham和H.Bui。“分布式切片沃瑟斯坦及其在生成建模中的应用”。在：学习代表国际会议. 2021. [67] J.A.Nichols和F.Y.Kuo。“随机移位格规则的快速CBC构造，在具有POD权重的加权空间中实现了（mathbb{R}s\）上无界被积函数的（O（n^{-1+mathit{delta}}）收敛”。在：复杂性杂志30.4（2014），第444-468页·Zbl 1302.65016号 [68] E.诺瓦克。“关于数值积分复杂性的一些结果”。在：蒙特卡罗和准蒙特卡罗方法第163卷。施普林格数学与统计论文集。Springer，2016年，第161-183页·Zbl 1356.65085号 [69] I.Olkin和R.Liu。“二元β分布”。在：统计学和概率论字母62.4（2003），第407-412页·Zbl 1116.60309号 [70] A.B.欧文。“哈尔顿序列避开原点”。在：SIAM审查48.3（2006），第487-503页·Zbl 1114.65003号 [71] A.B.欧文。蒙特卡罗理论、方法和示例. 2013. [72] A.B.欧文。“准蒙特卡罗的多维变分”。在：纪念凯泰芳教授65岁生日国际统计会议J.Fan和G.Li编辑，2005年，第49-74页·Zbl 1266.26024号 [73] L.Pacchiardi和R.Dutta。“使用评分规则估计器的广义贝叶斯似然推理”。在：arXiv:2104.03889 (2021). [74] M.Park、W.Jitkrittum和D.Sejdinovic。“K2-ABC：带有内核嵌入的近似贝叶斯计算”。在：第19届国际人工智能与统计会议记录第51卷。PMLR，2016年，第398-407页。 [75] W.C.Parr和W.R.Schucany。“最小距离和稳健估计”。在：美国统计协会杂志75.371（1980），第616-624页·Zbl 0481.62031号 [76] G.Peters、W.Chen和R.Gerlach。“通过L矩估计非寿险建模的损失分布分位数系列”。在：风险4.2（2016），第14页。 [77] G.Peyre和M.Cuturi。计算最优传输：应用于数据科学机器学习的基础和趋势。2019 [78] D.Prangle。“gk：g-and-k和广义g-and-h分布的R包”。在：arXiv:1706.06889 (2017). [79] G.S.Rodrigues、D.J.Nott和S.A.Sisson。“无似然近似吉布斯采样”。在：统计与计算30.4（2020年），第1057-1073页·兹比尔1447.62012 [80] J.M.Sarabia、F.Prieto和V.Jordá。“福利数据应用的双变量β生成分布”。在：统计分布与应用杂志1.15 (2014). ·Zbl 1351.62057号 [81] S.M.Schmon、P.W.Cannon和J.Knoblauch。“近似贝叶斯计算中的广义后验”。在：第三届近似贝叶斯发展研讨会2020年，第1-11页。 [82] Z.Shen、Z.Wang、A.Ribeiro和H.Hassani。“生成模型的陷坑自然梯度”。在：神经信息处理系统的进展2020年，第1646-1656页。 [83] B.K.Sriperumbudur、A.Gretton、K.Fukumizu、B.Schölkopf和G.R.G.Lanckriet。“希尔伯特空间嵌入和概率度量”。在：机器学习研究杂志11 (2010). ·Zbl 1242.60005号 [84] I.Steinwart、A.Christmann、M.Jordan、J.Kleinberg和B.Schölkopf。支持向量机信息科学与统计。多德雷赫特：施普林格出版社，2008年·Zbl 1203.68171号 [85] R.Storn和K.Price。“差分进化——一种简单高效的启发式算法，用于连续空间上的全局优化”。在：全球优化杂志11.4（1997），第341-359页·Zbl 0888.90135号 [86] D.J.Sutherland、H.Y.Tung、H.Strathmann、S.De、A.Ramdas、A.Smola和A.Gretton。“通过优化最大平均差生成模型和模型批评”。在：学习代表国际会议. 2017. [87] V.B.Tadic和A.Doucet。“随机梯度搜索的渐近偏差”。在：应用概率年鉴27.6（2017），第3255-3304页·Zbl 1387.49044号 [88] P.Virtanen，R.Gommers，T.E.Oliphant，M.Haberland，T.Reddy，D.Cournapeau，E.Burovski，P.Peterson，W.Weckesser，J.Bright，S.J.van der Walt，M.Brett，J.Wilson，K.J.Millman，N.Mayorov，A.R.J.Nelson，E.Jones，R.Kern，E.Larson，C.J.Carey，I。Polat、Y.Feng、E.W.Moore、J.VanderPlas、D.Laxalde、J.Perktold、R.Cimrman、I.Henriksen、E.A.Quintro、C.R.Harris、A.M.Archibald、A.H.Ribeiro、F.Pedregosa、P.van Mulbregt和SciPy 1.0贡献者。“SciPy 1.0：Python科学计算的基本算法”。在：自然方法17（2020年），第261-272页。 [89] J.Wu、Z.Huang、D.Acharya、W.Li、J.Thoma、D.P.Paudel和L.van Gool。“瓦瑟斯坦切片生成模型”。在：IEEE/CVF计算机视觉和模式识别（CVPR）会议记录. 2019. 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。