×

从隐式模型中挖掘黄金以改进无似然推理。 (英语) Zbl 1461.62043号

摘要:模拟器通常能提供真实世界现象的最佳描述。然而,他们隐式定义的概率密度通常是难以处理的,这导致难以推理的逆问题。最近,引入了许多技术,其中学习了难处理密度的替代,包括归一化流和密度比估计。我们表明,通常可以从模拟器中提取表征潜在过程的附加信息,并用于增加这些代理模型的训练数据。我们引入了几个利用这些增强数据的损失函数,并证明这些技术可以提高样本效率和推理质量。

MSC公司:

62G05型 非参数估计
58立方厘米 隐函数定理;流形上的全局牛顿方法
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] D.B.Rubin,应用统计学家的贝叶斯合理和相关频率计算。《美国年鉴》第12卷,第1151-1172页(1984年)·Zbl 0555.62010号 ·doi:10.1214/aos/1176346785
[2] M.A.Beaumont,W.Zhang,D.J.Balding,人口遗传学中的近似贝叶斯计算。《遗传学》1622025-2035(2002)。
[3] P.Marjoram,J.Molitor,V.Plagnol,S.Tavaré,马尔可夫链蒙特卡罗,没有可能性。程序。国家。阿卡德。科学。美国100,15324-15328(2003年)。
[4] S.A.Sisson、Y.Fan、M.M.Tanaka,《无可能性的序贯蒙特卡罗》。程序。国家。阿卡德。科学。《美国法典》第104卷,1760-1765页(2007年)·Zbl 1160.65005号
[5] S.A.Sisson、Y.Fan、M.Beaumont,《近似贝叶斯计算手册》(Chapman和Hall/CRC,2018)·Zbl 1416.62005年
[6] J.Alsing,B.Wandelt,S.Feeney,《宇宙学中可伸缩的、类似无障碍推理的大规模最佳数据压缩和密度估计》。周一。不是。R.阿斯顿。Soc.4772874-2885(2018)。
[7] T.Charnock、G.Lavaux、B.D.Wandelt,《信息最大化神经网络的自动物理推理》。物理学。修订版D 97,083004(2018)。
[8] P.J.Diggle,R.J.Gratton,隐式统计模型的蒙特卡罗推理方法。J.R.Stat.Soc.46193-212(1984)·Zbl 0561.62035号
[9] I.J.Goodfellow等人,《生成性对抗网络》。https://arxiv.org/abs/1406.2661(2014年6月10日)。
[10] K.Cranmer,J.Pavez,G.Louppe,用校准的判别分类器近似似然比https://arxiv.org/abs/1506.02169(2015年6月6日)。
[11] K.Cranmer,G.Louppe,用条件双宾语统一生成模型和精确无似然推理。Zenodo,10.5281/Zenodo.198541(2016)。
[12] G.Louppe,K.Cranmer,J.Pavez,carl:一个类似的自由推理工具箱。J.开源软件。1, 11 (2016).
[13] S.Mohamed,B.Lakshminarayanan,《内隐生成模型中的学习》。https://arxiv.org/abs/11610.03483(2016年10月11日)。
[14] M.U.Gutmann,R.Dutta,S.Kaski,J.Corander,通过分类进行无似然推理。统计计算。28, 411-425 (2017). ·Zbl 1384.62089号
[15] T.Dinev,M.U.Gutmann,通过比率估计(DIRE)进行动态似然自由推理。arXiv:1810.09899(2018年10月23日)。
[16] J.Hermans,V.Begy,G.Louppe,不含似然比的MCMC。https://arxiv.org/abs/1903.04057v1(2019年3月10日)。
[17] I.Guyon等人,D.Tran,R.Ranganath,D.Blei,《神经信息处理系统进展》中的“层次隐式模型和无似然变分推理”,I.Gueon等人,Eds.(Curran Associates,Inc.,2017),第30卷,第5523-5533页。
[18] L.Dinh,D.Krueger,Y.Bengio,NICE:非线性独立成分估计。https://arxiv.org/abs/1110.8516(2014年10月30日)。
[19] D.Jimenez Rezende,S.Mohamed,规范化流的变分推理。https://arxiv.org/abs/1505.05770v5(2015年5月21日)。
[20] L.Dinh,J.Sohl-Dickstein,S.Bengio,使用实际NVP进行密度估计。https://arxiv.org/abs/1605.08803(2016年5月27日)。
[21] G.Papamakarios,T.Pavlakou,I.Murray,用于密度估计的掩蔽自回归流。https://arxiv.org/abs/1705.07057(2017年5月19日)。
[22] C.-W.Huang、D.Krueger、A.Lacoste、A.Courville,《神经自回归流》。https://arxiv.org/abs/1804.00779(2018年4月3日)。
[23] G.Papamakarios,D.C.Sterratt,I.Murray,《序列神经似然:用自回归流进行快速似然推理》。https://arxiv.org/abs/1805.07226(2018年5月18日)。
[24] T.Q.Chen,Y.Rubanova,J.Bettencourt,D.K.Duvenaud,《神经常微分方程》。http://arxiv.org/abs/1806.07366(2018年6月19日)。
[25] D.P.Kingma,P.Dhariwal,Glow:具有可逆1x1卷积的生成流。arXiv:1807.03039(2018年7月9日)。
[26] W.Grathwohl,R.T.Q.Chen,J.Bettencourt,I.Sutskever,D.Duvenaud,FFJORD:可扩展可逆生成模型的自由形式连续动力学。https://arxiv.org/abs/1810.01367(2018年10月2日)。
[27] M.Germain,K.Gregor,I.Murray,H.Larochelle,MADE:用于分布估计的屏蔽自动编码器。https://arxiv.org/abs/11502.03509(2015年2月12日)。
[28] B.Uria,M.-A.Coté,K.Gregor,I.Murray,H.Larochelle,神经自回归分布估计。https://arxiv.org/abs/1605.02226(2016年5月7日)·Zbl 1433.68393号
[29] A.van den Oord等人,《WaveNet:原始音频的生成模型》。https://arxiv.org/abs/1609.03499(2016年9月12日)。
[30] A.van den Oord等人,使用PixelCNN解码器生成条件图像。https://arxiv.org/abs/1606.05328(2016年6月16日)。
[31] A.van den Oord,N.Kalchbrenner,K.Kavukcuoglu,像素递归神经网络。https://arxiv.org/abs/1601.06759(2016年1月25日)。
[32] Y.Fan,D.J.Nott,S.A.Sisson,通过回归密度估计进行近似贝叶斯计算。https://arxiv.org/abs/1212.1479(2012年12月6日)。
[33] D.D.Lee,M.Sugiyama,U.V.Luxburg,I.Guyon,R.Garnett G.Papamakarios,I.Murray,《神经信息处理系统进展》中的“利用贝叶斯条件密度估计对模拟模型进行快速ε-自由推理”,D.D.Lee、M.Sugiyama,U.V.Luxeburg,第1028-1036页。
[34] B.Paige,F.Wood,图形模型中顺序蒙特卡罗的推理网络。https://arxiv.org/abs/1602.06701v2(2016年2月22日)。
[35] R.Dutta,J.Corander,S.Kaski,M.U.Gutmann,通过比率估计进行无似然推理。http://export.arxiv.org/abs/1611.10242(2016年11月30日)·Zbl 1384.62089号
[36] G.Louppe,K.Cranmer,不可微模拟器的对抗变分优化。https://arxiv.org/abs/1707.07113(2017年7月22日)。
[37] J.-M.Lueckmann等人,神经动力学机械模型的灵活统计推断。arXiv:1711.01861(2017年11月6日)。
[38] J.-M.Lueckmann、G.Bassetto、T.Karaletsos、J.H.Macke,《仿真器网络的无似然推理》。arXiv:1805.09294(2018年5月23日)。
[39] J.Neyman、E.S.Pearson、K.Pearson,IX.关于统计假设的最有效测试问题。菲洛斯。事务处理。R.Soc.A 231289-337(1933)·JFM 59.1163.02号文件 ·doi:10.1098/rsta.1933.0009
[40] S.S.Wilks,检验复合假设的似然比的大样本分布。安。数学。《法律总汇》第9卷,第60-62页(1938年)·Zbl 0018.3203号
[41] E.Meeds、R.Leenders、M.Welling、Hamilton ABC。arXiv:1503.01916(2015年3月6日)。
[42] M.M.Graham,A.J.Storkey,可微生成模型中的渐近精确推理。电子。《美国联邦法律大全》第11卷,第5105-5164页(2017年)·Zbl 1380.65025号
[43] S.Kaski,J.Corander F.Wood,J.W.van de Meent,V.Mansinghka,《第17届国际人工智能与统计会议论文集》中的“概率编程推理的新方法”,S.Kaski,J.Corander,Eds.(机器学习研究论文集,2014),第1024-1032页。
[44] A.Singh,J.Zhu T.Anh Le,A.Gunes Baydin,F.Wood,《第20届国际人工智能与统计会议(AISTATS)论文集》,《机器学习研究论文集》第54卷,A.Singh和J.Zu,Eds.(PMLR,佛罗里达州劳德代尔堡,2017),第1338-1348页。
[45] K.Cranmer,J.Brehmer,G.Louppe,《模拟推理的前沿》https://arxiv.org/abs/1911.01429v1(2019年11月4日)。
[46] D.S.Greenberg,M.Nonnenmacher,J.H.Macke,用于无似然推理的自动后验变换。arXiv:1905.07488(2019年5月17日)。
[47] J.Brehmer,K.Cranmer,G.Louppe,J.Pavez,用机器学习约束有效场理论。物理学。修订稿。121, 111801 (2018).
[48] J.Brehmer,K.Cranmer,G.Louppe,J.Pavez,《用机器学习约束有效场理论的指南》。物理学。修订版D 98,052004(2018)。
[49] R.J.Williams,连接强化学习的简单统计梯度允许算法。机器。学习8229-256(1992)·Zbl 0772.68076号
[50] J.Brehmer、K.Cranmer、G.Louppe、J.Pavez,论文《从隐式模型中挖掘黄金以改进无似然推理》中广义Galton板示例的代码库。GitHub。http://github.com/johannbrehmer/simulator-mining-example。2019年12月3日存款。
[51] J.Brehmer,F.Kling,I.Espejo,K.Cranmer,MadMiner:粒子物理的基于机器学习的推理。计算。柔和。大科学。4, 3 (2019).
[52] J.Brehmer、S.Mishra-Sharma、J.Hermans、G.Louppe、K.Cranmer,《暗物质亚结构挖掘:利用机器学习从强透镜推断亚热群属性》。天体物理学。J.886,49(2019)。
[53] PPX开发人员,概率编程执行协议(PPX)。github。http://github.com/probprog/ppx。2020年2月6日查阅。
[54] 2019年在Flatiron Institute举行的无似然推断会议的参与者,该会议是使用Pyro自动计算联合得分和联合似然比的代码库。github。https://github.com/LFITaskForce/bheckmark。2020年2月6日查阅。
[55] E.Bingham等人,Pyro:深度通用概率规划。J.马赫。学习。决议(2019)20,1-6·Zbl 07049747号
[56] P.Baldi,K.Cranmer,T.Faucett,P.Sadowski,D.Whiteson,高能物理参数化神经网络。欧洲物理学。J.C 76,235(2016)。
[57] J.Alsing,B.Wandelt,广义大规模最优数据压缩。周一。不是。罗伊。阿童木。Soc.476,L60-L64(2018)。
[58] J.Alsing,B.Wandelt,Nuisance强化了数据压缩,实现了快速无障碍推理Mon。不是。R.阿斯顿。Soc.488,5093-5103(2019)。
[59] A.J.Lotka,有机系统中某些节奏关系的分析注释。程序。国家。阿卡德。科学。《美国法典》第6卷第410-415页(1920年)。
[60] A.J.Lotka,从质量作用定律导出的无阻尼振荡。美国化学杂志。《刑法典》第4211595-1599页(1920年)。 ·doi:10.1021/ja01453a010
[61] D.T.Gillespie,数值模拟耦合化学反应随机时间演化的通用方法。J.计算。物理学。22, 403-434 (1976). ·doi:10.1016/0021-9991(76)90041-3
[62] G.Papamakarios,T.Pavlakou,I.Murray,论文代码库“用于密度估计的掩蔽自回归流”。GitHub。http://github.com/gpapamak/maf。2020年2月6日查阅。
[63] J.Brehmer、K.Cranmer、G.Louppe、J.Pavez,论文《从隐式模型中挖掘黄金以改进无似然推理》中Lotka-Volterra示例的代码库。GitHub。http://github.com/johannbrehmer/goldmine。2018年10月6日存款。
[64] J.Alwall等人,《树级和次前导阶微分截面的自动计算及其与部分子簇射模拟的匹配》。《高能物理杂志》。07, 079 (2014). ·Zbl 1402.81011号
[65] K.Cranmer,T.Plehn,LHC和希格斯粒子衰变为μ介子的最大意义。欧洲物理学。J.C 51,415-420(2007)。
[66] T.Plehn,P.Schichtel,D.Wiegand,《增强意义从何而来》。物理学。修订版D 89,054002(2014)。
[67] F.Kling,T.Plehn,P.Schichtel,最大化希格斯玻色子对分析的重要性。物理学。修订版D 95,035026(2017)。
[68] J.Brehmer,K.Cranmer,G.Louppe,J.Pavez,论文“用机器学习约束有效场理论”的代码库。GitHub。https://github.com/johannbrehmer/higgs_inference。2019年2月28日存款。
[69] B.Eli等人,《Pyro:深度概率规划》。github。https://github.com/uber/pyro。2020年2月6日查阅·Zbl 07049747号
[70] D.Tran等人,深度概率规划。arXiv:1701.03757(2017年1月13日)。
[71] I.Guyon等人,N.Siddharth等人,《神经信息处理系统进展》中的“用半监督深度生成模型学习非纠缠表示”,I.Gueon等人,编辑(Curran Associates,Inc.,2017年),第30卷,第5927-5937页。
[72] A.Gelman、D.Lee、J.Guo。Stan:一种用于贝叶斯推理和优化的概率编程语言。J.教育。行为。《统计》第40卷,第530-543页(2015年)。 ·数字对象标识代码:10.3102/1076998615606113
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。