×

贝叶斯推理的仿射不变交互Langevin动力学。 (英语) Zbl 1472.65118号

本文提出了一种从给定的高维目标分布生成样本的计算方法,形式为\[\pi(u)=\frac1Z\exp(-\Phi(u))\],其中\(\Phi \)是合适的势,\(Z \)是归一化常数;这是贝叶斯反问题中的一项基本任务。作为众所周知的(马尔可夫链)蒙特卡罗方法的替代方法,该方法基于目标分布不变的朗之万动力学。具体地说,他们提出了由[du^{(i)}_t=-C(u_t)\nabla{u^{in\mathbb{R}^d\)表示第(i)个粒子在时间(t)的位置(全部收集到向量中),(C(U_t)是经验协方差矩阵,(m(U_t.)是经验平均值,(C^{1/2}(U_t:)是广义平方根,可以使用粒子与经验平均值的偏差直接计算。这里的第二项是一个修正项,它保证了(N>D+1)(在适当的势和初始系综假设下)这些动力学在仿射变换下是不变的,如果经验协方差矩阵是高斯后验贝叶斯反问题中目标协方差度量的较差近似值,则可以防止无效采样。
它们还提供了一个无梯度变量,用一种近似代替了(nabla{u^{(i)}}\Phi(u^{i)}_t),这种近似精确地用于带有仿射正算子的贝叶斯反问题,并且与经典的集合卡尔曼-布基滤波器以及最近的集合卡尔门反演有关。
以达西流反演的典型模型问题为例,说明了该方法的性能。

MSC公司:

65立方米 偏微分方程初值和初边值反问题的数值方法
2015年1月62日 贝叶斯推断
65亿75 涉及偏微分方程的初值和初边值问题的概率方法、粒子方法等
65立方厘米 随机微分和积分方程的数值解
90 C56 无导数方法和使用广义导数的方法
37B35型 梯度行为;孤立(局部极大)不变集;拓扑动力系统的吸引子、排斥子
82立方31 随机方法(福克-普朗克、朗之万等)应用于含时统计力学问题
76S05号 多孔介质中的流动;过滤;渗流
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] L.Ambrosio、N.Gigli和G.Savareí,《梯度流:在度量空间和概率测度空间中》,Birkha­user Verlag,巴塞尔,2008年·Zbl 1145.35001号
[2] J.Amezcua、E.Kalnay、K.Ide和S.Reich,合成器变换Kalman-Bucy滤波器,夸特。J.罗伊。流星。Soc.,140(2014),第995-1004页。
[3] J.-D.Benamou和Y.Brenier,Monge-Kantorovich质量传递问题的计算流体力学解,Numer。数学。,84(2000),第375-393页·Zbl 0968.76069号
[4] K.Bergemann和S.Reich,用于连续数据同化的集合Kalman-Bucy滤波器,气象日志。Z.,21(2012),第213-219页。
[5] J.Carrillo、M.Delgadino和G.Pavliotis,用(Gamma)-收敛、预印、,https://arxiv.org/abs/1906.04601, 2019.
[6] J.Carrillo和U.Vaes,协方差预处理Fokker-Planck方程的Wasserstein稳定性估计,预印本,https://arxiv.org/abs/1910.07555, 2019.
[7] Z.Ding和Q.Li,集成卡尔曼采样:平均场极限和收敛分析,预印本,https://arxiv.org/abs/1910.12923, 2019.
[8] A.Duncan、N.Nu¨sken和G.Pavliotis,《使用扰动欠阻尼Langevin动力学从概率分布中有效采样》,《统计物理学杂志》。,169(2017),第1098-1131页·Zbl 1387.35580号
[9] A.Eberle,马尔可夫过程,讲稿,波恩大学,2009年。
[10] G.Evensen,《数据同化》。合奏卡尔曼滤波器,Springer-Verlag,纽约,2006年·Zbl 1157.86001号
[11] A.Garbuno-Inigo、F.Hoffmann、W.Li和A.M.Stuart,《相互作用的朗之万扩散:梯度结构和集合卡尔曼采样器》,SIAM J.Appl。动态。系统。,19(2020年),第412-441页,https://doi.org/10.1137/19M1251655。 ·Zbl 1447.65119号
[12] M.Girolma和B.Calderhead,Riemann流形Langevin和Hamilton Monte Carlo方法,J.R.Stat.Soc.Ser。B统计方法。,73(2011),第123-214页·Zbl 1411.62071号
[13] J.Goodman和J.Weare,具有仿射不变性的集合采样器,Commun。申请。数学。计算。科学。,5(2010年),第65-80页·兹比尔1189.65014
[14] P.Greengard,《一个集合化的城市朗之万采样器》,硕士论文,纽约大学科朗研究所,2015年。
[15] 徐永平,流形的随机分析,梯度。学生数学。38,美国数学学会,普罗维登斯,RI,2002年·Zbl 0994.58019号
[16] R.Jordan、D.Kinderlehrer和F.Otto,福克-普朗克方程的变分公式,SIAM J.Math。分析。,29(1998),第1-17页,https://doi.org/10.1137/S0036141096303359。 ·Zbl 0915.35120号
[17] R.Khasminskii,微分方程的随机稳定性,Springer Science&Business Media,海德堡,2012年·兹比尔1241.60002
[18] W.Kliemann,退化扩散的递归和不变测度,Ann.Probab。,15(1987年),第690-707页·Zbl 0625.60091号
[19] N.B.Kovachki和A.M.Stuart,《集成卡尔曼反演:机器学习任务的无导数技术》,《反演问题》,35(2019),095005·Zbl 1430.68266号
[20] K.Law、A.Stuart和K.Zygalakis,《数据同化:数学导论》,Springer-Verlag,纽约,2015年·Zbl 1353.60002号
[21] J.Lee,《黎曼流形:曲率导论》,Springer Science&Business Media,纽约,2006年。
[22] B.Leimkuhler、C.Matthews和J.Weare,马尔可夫链蒙特卡罗模拟的集成预处理,统计计算。,28(2018),第277-290页·Zbl 1384.65004号
[23] S.Lisini,变系数非线性扩散方程作为Wasserstein空间中的梯度流,ESAIM Control Optim。计算变量,15(2009),第712-740页·Zbl 1178.35201号
[24] S.Livingstone和M.Girolma,《使用扩散的信息几何马尔可夫链蒙特卡罗方法》,《熵》,16(2014),第3074-3102页·Zbl 1338.65018号
[25] Y.-A.Ma、T.Chen和E.Fox,《随机梯度MCMC的完整配方》,摘自《第28届神经信息处理系统国际会议论文集》,第2卷,麻省理工学院出版社,马萨诸塞州剑桥,2015年,第2917-2925页。
[26] S.Machlup和L.Onsager,波动和不可逆过程。\textupII。动能系统,物理。第91版(1953年),第1512-1515页·Zbl 0053.15107号
[27] S.Meyn和R.Tweedie,马尔可夫过程的稳定性II:连续时间过程和采样链,高级应用。概率。,25(1993年),第487-517页·Zbl 0781.60052号
[28] S.Meyn和R.Tweedie,马尔可夫过程的稳定性III:连续时间过程的Foster-Lyapunov准则,高级应用。概率。,25(1993),第518-548页·兹比尔0781.60053
[29] A.Mielke、D.Renger和M.Peletier,Onsager互易关系对非线性迁移梯度流的推广,J.非平衡热力学。,41(2016),第141-149页。
[30] N.Nuísken和S.Reich,关于相互作用的Langevin扩散的注释:梯度结构和集合Kalman采样器,预印本,https://arxiv.org/pdf/1908.10890.pdf, 2019.
[31] H.Oöttinger,《超越平衡热力学》,John Wiley&Sons,2005年。
[32] S.Pathiraja和S.Reich,计算贝叶斯推断的离散梯度,J.Compute。Dyn公司。,6(2019年),第236-251页·Zbl 1437.62110号
[33] G.Pavliotis,《随机过程和应用》,Springer-Verlag,纽约,2014年·Zbl 1318.60003号
[34] S.Reich,间歇性数据同化的动力系统框架,BIT,51(2011),第235-249页·Zbl 1216.93098号
[35] S.Reich和C.Cotter,概率预测和贝叶斯数据同化,剑桥大学出版社,英国剑桥,2015年·Zbl 1314.62005年
[36] S.Reich和C.J.Cotter,《间歇数据同化的集合滤波技术》,载于《大尺度反演问题:地球科学中的计算方法和应用》,M.Cullen、M.A.Freitag、S.Kindermann和R.Scheichl编辑,Radon Ser。计算。申请。数学。13,Walter de Gruyter,柏林,2013年,第91-134页·Zbl 1291.65032号
[37] S.Reich和S.Weissmann,《用于贝叶斯推断的福克-普朗克粒子系统:计算方法》,预印本,https://arxiv.org/abs/1911.10832, 2019.
[38] G.Roberts和O.Stramer,《朗之万扩散和大都会黑斯廷斯算法》,Methodol。计算。申请。概率。,4(2003年),第337-358页·Zbl 1033.65003号
[39] P.Rossky、J.Doll和H.Friedmann,布朗动力学作为智能蒙特卡罗模拟,J.Chem。物理。,69(1978年),第4628-4633页。
[40] C.Schillings和A.M.Stuart,反问题的集合卡尔曼滤波器分析,SIAM J.Numer。分析。,55(2017),第1264-1290页,https://doi.org/10.1137/16M105959X。 ·Zbl 1366.65101号
[41] G.Stoltz和M.Rousset,《自由能计算:数学观点》,《世界科学》,新泽西州哈肯萨克,2010年·Zbl 1227.82002年
[42] C.维拉尼,《最佳交通:新旧》,格兰德伦数学。愿望。338,Springer Science&Business Media,纽约,2008年·Zbl 1156.53003号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。