×

用扩散法测量样品质量。 (英语) Zbl 1439.60073号

摘要:Stein测量连续目标分布收敛性的方法依赖于描述目标的算子和相关微分方程解的Stein因子边界。虽然这样的算子和边界对于各种单变量目标都是可用的,但很少分析过多变量目标。我们引入了一类新的基于Itó扩散的特征化算子,并为具有快速耦合Itö扩散的任何目标建立了显式的多元Stein因子界。作为示例应用,我们针对对数曲线、重尾和多模目标开发了可计算和收敛确定的扩散Stein差异,并使用这些质量度量来选择偏置马尔可夫链蒙特卡罗(MCMC)采样器的超参数,比较随机和确定性求积规则,量化近似MCMC中的偏差-方差权衡。我们的结果在扩散Stein差异和Wasserstein距离之间建立了近线性关系,改进了以往的工作,即使是对于强对数曲线目标。斯坦因因子和马尔可夫过程耦合之间的公开关系可能会引起独立的兴趣。

MSC公司:

60J60型 扩散过程
60埃15 不平等;随机排序
65立方米 随机微分和积分方程的数值解
65二氧化碳 蒙特卡罗方法
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] Ambrosio,L.、Fusco,N.和Pallara,D.(2000年)。有界变差函数与自由间断问题。牛津大学出版社。纽约克拉伦登出版社·Zbl 0957.49001号
[2] Bach,F.、Lacoste-Julien,S.和Obozinski,G.(2012)。关于羊群算法和条件梯度算法的等价性。程序中。第29届ICML,ICML'12。
[3] Barbour,A.D.(1988年)。Stein方法和泊松过程收敛。J.应用。普罗巴伯。特别卷25A 175-184。应用概率的庆祝·兹比尔0661.60034
[4] Barbour,A.D.(1990年)。扩散近似的Stein方法。普罗巴伯。理论相关领域84 297-322·Zbl 0665.60008号 ·doi:10.1007/BF01197887
[5] Bouts,Q.W.,ten Brink,A.P.和Buchin,K.(2014)。计算贪婪扳手的框架。计算几何(SoCG’14)11-19。纽约ACM·兹比尔1401.68346
[6] Brooks,S.、Gelman,A.、Jones,G.L.和Meng,X.-L.编辑(2011年)。马尔可夫链蒙特卡罗手册。佛罗里达州博卡拉顿CRC出版社·Zbl 1218.65001号
[7] Cattiaux,P.和Guillin,A.(2014)。半对数马尔可夫扩散。在第四十六章《概率论》中。数学课堂笔记。2123 231-292. 查姆施普林格·Zbl 1390.60286号
[8] Cerrai,S.(2001)。有限和无限维中的二阶偏微分方程:概率方法。数学课堂笔记。1762.柏林施普林格·Zbl 0983.60004号
[9] Chatterjee,S.和Meckes,E.(2008)。使用可交换对的多元正态近似。ALEA Lat.Am.J.Probab公司。数学。统计数据4 257-283·Zbl 1162.60310号
[10] Chatterjee,S.和Shao,Q.-M.(2011)。Stein交换对方法的非正态近似及其在居里-维斯模型中的应用。附录申请。普罗巴伯。21 464-483. ·Zbl 1216.60018号 ·doi:10.1214/10-AAP712
[11] Chen,L.H.Y.、Goldstein,L.和Shao,Q.-M.(2011)。Stein方法的法向近似。概率及其应用(纽约)。海德堡施普林格·Zbl 1213.62027号
[12] Chen,W.Y.、Mackey,L.、Gorham,J.、Briol,F.-X.和Oates,C.(2018)。斯坦因指出。程序中。第35届ICML,ICML'18。
[13] Chen,Y.、Welling,M.和Smola,A.(2010年)。来自谷物放牧的超级样本。在阿拉伯联合酋长国。
[14] Chew,P.(1986年)。有一个平面图几乎和完整图一样好。程序中。第二套SOCG 169-177。纽约ACM。
[15] Chwialkowski,K.、Strathmann,H.和Gretton,A.(2016)。拟合优度的核心测试。程序中。第33届ICML,ICML。
[16] Conca,C.和Vanninathan,M.(2007年)。不可压缩流体方程中的周期均匀化问题。数学流体动力学手册4 649-698。
[17] Doersek,P.和Teichmann,J.(2010)。随机(偏)微分方程分裂格式的半群观点。可在https://arxiv.org/abs/1011.2651。
[18] Drummond,P.D.和Gardiner,C.W.(1980)。量子光学中的广义P表示。《物理学杂志》。甲13 2353-2368。
[19] Drummond,P.D.和Walls,D.F.(1980)。光学双稳态的量子理论。非线性极化模型。《物理学杂志》。A 13 725。
[20] Duncan,A.B.、Lelièvre,T.和Pavliotis,G.A.(2016)。使用不可逆朗之万采样器减少方差。《统计物理学杂志》。163 457-491. ·Zbl 1343.82036号 ·doi:10.1007/s10955-016-1491-2
[21] Dynkin,E.B.(1965年)。马尔可夫过程。卷。I.施普林格,柏林-哥廷根-海德堡·Zbl 0132.37901号
[22] Eberle,A.(2016)。扩散的反射耦合和收缩率。普罗巴伯。理论相关领域166 851-886·兹伯利1367.60099 ·doi:10.1007/s00440-015-0673-1
[23] Engel,K.-J.和Nagel,R.(2000年)。线性发展方程的单参数半群。数学研究生教材194。纽约州施普林格·Zbl 0952.47036号
[24] Ethier,S.N.和Kurtz,T.G.(1986年)。马尔可夫过程。概率与数理统计中的威利级数:概率和数理统计。纽约威利·Zbl 0592.60049号
[25] Fan,Y.、Brooks,S.P.和Gelman,A.(2006年)。通过分数统计对蒙特卡洛模拟进行输出评估。J.计算。图表。统计师。15 178-206.
[26] Fang,X.,Shao,Q.-M.和Xu,L.(2018)。Stein方法和Bismut公式对Wasserstein距离的多元近似。普罗巴伯。理论相关领域1-35·兹比尔1458.60033
[27] Fournié,E.、Lasry,J.-M.、Lebuchoux,J.、Lions,P.-L.和Touzi,N.(1999)。Malliavin微积分在金融蒙特卡罗方法中的应用。金融Stoch。3 391-412. ·Zbl 0947.60066号
[28] 弗里德曼(1975)。随机微分方程及其应用。第1卷。纽约学术出版社·Zbl 0323.60056号
[29] Gan,H.L.、Röllin,A.和Ross,N.(2017年)。突变Cannings模型中平衡分布的Dirichlet近似。申请中的预付款。普罗巴伯。49 927-959. ·Zbl 1429.92104号 ·doi:10.1017/apr.2017.27
[30] Gaunt,R.E.(2016)。通过Stein方程解的新边界,在矩条件下法向近似中的收敛速度。J.理论。普罗巴伯。29 231-247. ·Zbl 1335.60021号 ·doi:10.1007/s10959-014-0562-z
[31] 盖尔曼,A.(2006)。多级(层次)建模:它能做什么和不能做什么。技术计量学48 432-435。
[32] Gelman,A.、Carlin,J.B.、Stern,H.S.、Dunson,D.B.、Vehtari,A.和Rubin,D.B.(2014)。贝叶斯数据分析,第三版,《统计科学丛书》。佛罗里达州博卡拉顿CRC出版社·Zbl 1279.62004号
[33] Girolma,M.和Calderhead,B.(2011年)。黎曼流形朗之万和哈密顿蒙特卡罗方法。J.R.统计社会服务。B.统计方法。73 123-214. ·Zbl 1411.62071号 ·文件编号:10.1111/j.1467-9868.2010.00765.x
[34] Glaeser,G.(1958年)。埃图德·德奎尔克·阿尔盖布雷斯·泰洛林斯(Eltude de quelques algèbres tayloriennes)。J.分析。数学。6 1-124; 勘误表,插入6(1958),编号2·Zbl 0091.28103号
[35] Gorham,J.、Duncan,A.B、Vollmer,S.J和Mackey,L.(2019年)。补充“用扩散测量样品质量”DOI:10.1214/19-AAP1467SUPP·Zbl 1439.60073号
[36] Gorham,J.和Mackey,L.(2015)。用斯坦因方法测量样品质量。高级NIPS 28 226-234。
[37] Gorham,J.和Mackey,L.(2017)。用果仁测量样品质量。程序中。第34届ICML,ICML'17·Zbl 1439.60073号
[38] Götze,F.(1991)。关于多元CLT的收敛速度。安·普罗巴伯。19 724-739. ·Zbl 0729.62051号
[39] Gretton,A.、Borgwardt,K.、Rasch,M.、Schölkopf,B.和Smola,A.(2006)。两样本问题的核方法。修订版NIPS 19 513-520。
[40] Gu,Z.、Rothberg,E.和Bixby,R.(2015)。Gurobi优化器参考手册。可在http://www.gurobi.com。
[41] Gudmundsson,J.、Klein,O.、Knauer,C.和Smid,M.(2007年)。小型曼哈顿网络和推土机距离的算法应用。程序中。第23届EuroCG 174-177。
[42] Hairer,M.、Stuart,A.M.和Vollmer,S.J.(2014)。无限维Metropolis-Hastings算法的谱间隙。附录申请。普罗巴伯。24 2455-2490. ·Zbl 1307.65002号 ·doi:10.1214/13-AAP982
[43] Har-Peled,S.和Mendel,M.(2006年)。低维度量中网络的快速构造及其应用。SIAM J.计算。35 1148-1184. ·Zbl 1100.68014号 ·doi:10.1137/S0097539704446281
[44] Hartley,R.和Zisserman,A.(2003年)。《计算机视觉中的多视图几何》,第二版,剑桥大学出版社,剑桥·Zbl 0956.68149号
[45] Horowitz,A.M.(1987)。二阶朗之万方程及数值模拟。核物理。乙280 510-522。
[46] Huber,P.J.和Ronchetti,E.M.(2009年)。稳健统计学,第二版,《概率统计中的威利级数》。新泽西州霍博肯威利·Zbl 1276.62022号
[47] Huggins,J.和Zou,J.(2017)。量化近似扩散和马尔可夫链的准确性。程序中。第20届AISTATS 382-391。
[48] Huggins,J.H.和Mackey,L.(2018年)。随机特征Stein差异。在高级NIPS 31中。
[49] Hwang,C.-R.、Hwang-Ma,S.-Y.和Sheu,S.J.(1993)。加速高斯扩散。附录申请。普罗巴伯。3 897-913. ·Zbl 0780.60074号 ·doi:10.1214/aoap/1177005371
[50] Joulin,A.和Ollivier,Y.(2010年)。马尔可夫链蒙特卡罗的曲率、集中度和误差估计。安·普罗巴伯。38 2418-2442. ·兹比尔1207.65006 ·doi:10.1214/10-AOP541
[51] Kallenberg,O.(2002)。《现代概率论基础》,第二版,《概率论及其应用》(纽约)。纽约州施普林格·兹比尔0996.60001
[52] Kent,J.(1978年)。时间可逆扩散。申请中的预付款。普罗巴伯。10 819-835. ·Zbl 0387.60089号 ·网址:10.1017/S0001867800031396
[53] Khasminskii,R.(2012)。微分方程的随机稳定性,第二版,随机建模和应用概率66。海德堡施普林格·Zbl 1241.60002号
[54] Koratikara,A.、Chen,Y.和Welling,M.(2014)。MCMC土地的紧缩:削减大都会黑斯廷斯的预算。程序中。2014年第31届ICML。
[55] Lacoste-Julien,S.、Lindsten,F.和Bach,F.(2015)。顺序内核羊群:粒子滤波的Frank-Wolfe优化。AISTATS。
[56] Landim,C.、Olla,S.和Yau,H.T.(1998年)。具有时空遍历随机流的对流扩散方程。普罗巴伯。理论相关领域112 203-220·Zbl 0914.60070号 ·doi:10.1007/s004400050187
[57] Ley,C.、Reinert,G.和Swan,Y.(2017年)。Stein的单变量分布比较方法。普罗巴伯。Surv公司。14 1-52. ·Zbl 1406.60010号 ·doi:10.1214/16-PS278
[58] Liu,C.(1996)。不完全数据的贝叶斯稳健多元线性回归。J.Amer。统计师。协会91 1219-1227·Zbl 0880.62028号 ·doi:10.1080/01621459.1996.10476991
[59] Liu,Q.和Lee,J.(2017)。黑盒重要性抽样。程序中。第20届AISTATS 952-961。
[60] Liu,Q.、Lee,J.和Jordan,M.(2016)。一个核心化的Stein差异用于质量测试。程序中。第33届ICML。ICML 48 276-284。
[61] Liu,Q.和Wang,D.(2016)。Stein变分梯度下降:一种通用贝叶斯推理算法。修订版NIPS 29 2378-2386。
[62] Lubin,M.和Dunning,I.(2015)。使用Julia进行运筹学计算。信息J.计算。27 238-248. ·Zbl 1331.90001号 ·doi:10.1287/ijoc.2014.0623
[63] Lunardi,A.(2018年)。插值理论。柏林施普林格·Zbl 1394.46001号
[64] Ma,Y.、Chen,T.和Fox,E.(2015)。随机梯度MCMC的完整配方。高级NIPS 28 2899-2907。
[65] Mackey,L.和Gorham,J.(2016)。一类强对数凹分布的多元Stein因子。电子。Commun公司。普罗巴伯。21 56. ·Zbl 1354.60085号
[66] Manca,L.(2008)。连续函数空间中的Kolmogorov算子和测度方程。特西。Scuola Normale Superiore di Pisa(Nuova系列)【Scuola-Normale Superiore di Pisa论文集(新系列)】10。比萨Edizioni della Normale·Zbl 1195.60092号
[67] J.C.Mattingly、A.M.Stuart和M.V.Tretyakov(2010年)。通过泊松方程数值时间平均和平稳测度的收敛性。SIAM J.数字。分析。48 552-577. ·Zbl 1217.65014号 ·doi:10.1137/090770527
[68] Meckes,E.(2009)。关于多元正态逼近的Stein方法。高维概率V:发光体积。Inst.数学。统计(IMS)收集。5 153-178. IMS,俄亥俄州比奇伍德·Zbl 1243.60025号
[69] Müller,A.(1997)。积分概率度量及其函数生成类。申请中的预付款。普罗巴伯。29 429-443. ·Zbl 0890.60011号
[70] Nourdin,I.、Peccati,G.和Réveillac,A.(2010年)。使用Stein方法和Malliavin演算的多元正态近似。亨利·彭加雷·普罗巴布(Henri PoincaréProbab)安·Inst。统计数字46 45-58·Zbl 1196.60035号
[71] Oates,C.J.、Girolma,M.和Chopin,N.(2017年)。蒙特卡洛积分的控制泛函。J.R.统计社会服务。B.统计方法。79 695-718. ·Zbl 1411.62088号 ·doi:10.1111/rssb.12185
[72] Øksendal,B.(2003)。《随机微分方程:应用导论》,第六版,大学文本。柏林施普林格·Zbl 1025.60026号
[73] Pardoux,E.和Veretennikov,A.Y.(2001)。关于泊松方程和扩散近似。I.安。遗嘱认证。29 1061-1085. ·Zbl 1029.60053号 ·doi:10.1214/aop/1015345596
[74] Patterson,S.和Teh,Y.(2013)。概率单纯形上的随机梯度黎曼-朗之万动力学。高级NIPS 26 3102-3110。
[75] Pavliotis,G.A.(2014)。随机过程和应用。应用数学课文60。扩散过程,福克-普朗克方程和朗之万方程·Zbl 1318.60003号
[76] Peleg,D.和Schäffer,A.A.(1989年)。图形扳手。《图论》13 99-116·Zbl 0673.05059号 ·doi:10.1002/jgt.3190130114
[77] 普洛特,体育(2005)。随机积分与微分方程。随机建模和应用概率21。柏林施普林格。第二版。2.1版,更正了第三次打印。
[78] Raič,M.(2004)。具有有限二阶矩的可分解随机向量的多元CLT。J.理论。普罗巴伯。17 573-603. ·Zbl 1059.62050号 ·doi:10.1023/B:JOTP.000040290.44087.68
[79] Ranganath,R.、Tran,D.、Altosaar,J.和Blei,D.(2016)。算子变分推理。神经信息处理系统进展496-504。
[80] Reinert,G.和Röllin,A.(2009年)。在一般线性条件下,用可交换对的Stein方法进行多元正态逼近。安·普罗巴伯。37 2150-2173. ·Zbl 1200.62010年 ·doi:10.1214/09-AOP467
[81] Rey-Bellet,L.和Spiliopoulos,K.(2015)。不可逆Langevin采样器和方差减少:一种大偏差方法。非线性28 2081-2103·兹比尔1338.60086 ·doi:10.1088/0951-7715/28/7/2081
[82] Risken,H.(1989)。《福克-普朗克方程:求解方法与应用》,第二版,协同学中的施普林格系列18。柏林施普林格·Zbl 0665.60084号
[83] Roberts,G.O.和Stramer,O.(2002年)。朗之万扩散和大都会-黑斯廷斯算法。Methodol公司。计算。申请。普罗巴伯。4 337-357. ·Zbl 1033.65003号 ·doi:10.1023/A:1023562417138
[84] Roberts,G.O.和Tweedie,R.L.(1996年)。Langevin分布及其离散近似的指数收敛性。伯努利2 341-363·Zbl 0870.60027号 ·doi:10.2307/3318418
[85] Röckner,M.、Sobol,Z.等人(2006年)。无限维Kolmogorov方程:解的适定性和正则性,以及对随机广义Burgers方程的应用。安·普罗巴伯。34 663-727. ·Zbl 1106.35127号 ·doi:10.1214/0091179050000000666
[86] Shvartsman,P.(2008)。jet-spaces中集值映射的Whitney扩张问题和Lipschitz选择。事务处理。阿默尔。数学。Soc.360 5529-5550·Zbl 1167.46025号 ·doi:10.1090/S0002-9947-08-04469-3
[87] Soffriti,G.和Galinberti,G.(2011年)。具有非正态误差的多元线性回归:基于混合模型的解决方案。统计计算。21 523-536. ·Zbl 1221.62106号 ·doi:10.1007/s11222-010-9190-3
[88] 斯坦因(1972)。相依随机变量和分布的正态近似误差的界。程序中。第六届伯克利数理统计与概率研讨会,第二卷:概率论583-602。加利福尼亚大学出版社,加利福尼亚州贝雷克利·Zbl 0278.60026号
[89] Stein,C.、Diaconis,P.、Holmes,S.和Reinert,G.(2004)。在模拟分析中使用可交换对。斯坦因方法:解释性讲座和应用。数理统计研究所讲稿——专题系列46 1-26。俄亥俄州比奇伍德IMS。
[90] Stuart,A.M.、Voss,J.、Wiberg,P.等人(2004年)。SDE的条件路径采样和Langevin MCMC方法。Commun公司。数学。科学。2 685-697·Zbl 1082.65004号 ·doi:10.4310/CMS.2004.v2.n4.a7文件
[91] Teh,Y.W.、Thiery,A.H.和Vollmer,S.J.(2016)。随机梯度Langevin动力学的一致性和涨落。J.马赫。学习。第17 7号决议·Zbl 1360.60144号
[92] Vallander,S.S.(1973)。计算线路上概率分布之间的Vasseršteĭn距离。理论问题。申请。18 824-827. ·Zbl 0351.60009号
[93] Vollmer,S.J.、Zygalakis,K.C.和Teh,Y.W.(2016)。随机梯度Langevin动力学(非)渐近偏差和方差的探索。J.马赫。学习。第17 159号决议·Zbl 1391.60178号
[94] 王凤(2016)。负曲率扩散半群Wasserstein距离的指数收缩。可在https://arxiv.org/abs/1603.05749。
[95] Zellner,A.(1976年)。多元Student-(t)误差项回归模型的贝叶斯和非贝叶斯分析。J.Amer。统计师。协会71 400-405·Zbl 0348.62026号
[96] Zellner,A.和Min,C.(1995年)。吉布斯采样器收敛准则。J.Amer。统计师。协会90 921-927·Zbl 0842.62018号 ·doi:10.1080/01621459.1995.10476591
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。