帕夫利奥蒂斯，G.A。;斯图尔特，A.M。;Vaes，美国。 基于多尺度动力学的无导数贝叶斯反演。 （英语） Zbl 1493.62132号 SIAM J.应用。动态。系统。 21，第1期，284-326（2022）. 摘要：反问题无处不在，因为它们将数据与数学模型的集成形式化了。在许多科学应用中，正演模型的评估成本很高，并且难以使用伴随计算；在这种情况下，涉及少量正向模型评估的无导数方法是一个很有吸引力的命题。基于集成卡尔曼的相互作用粒子系统（以及基于共识和无迹卡尔曼方法等变体）已证明在这方面取得了经验上的成功，但除了在线性前向模型的设置中之外，无法系统地对其进行细化以返回真正的解[A.加布诺-伊尼戈等人，SIAM J.Appl。动态。系统。19，第1期，412–441（2020年；Zbl 1447.65119号)]. 本文提出了一种新的无导数贝叶斯反演方法，该方法可用于后验抽样或最大后验估计，并可进行系统改进。该方法依赖于随机微分方程的快/慢系统，以局部逼近出现在Langevin扩散中的对数似然梯度。此外，该方法可以通过使用基于集合卡尔曼方法（和变种）的信息进行预处理，提供了一种利用这些方法记录的优点的方法，同时也可以证明是可再融资的。我们定义了该方法，强调了其灵活性和多种变体，对所提出的方法进行了理论分析，并通过数值实验证明了其有效性。 引用于4文件 MSC公司： 2015年1月62日 贝叶斯推断 65立方厘米 随机粒子方法 65立方米 随机微分和积分方程的数值解 65N21型 含偏微分方程边值问题反问题的数值方法 关键词：反问题;多尺度方法;无导数方法 引文：Zbl 1447.65119号 软件：网格地图;信号群QN;合卡尔曼滤波 PDF格式BibTeX公司 XML格式引用 \textit{G.A.Pavliotis}等人，SIAM J.Appl。动态。系统。21，第1号，284--326（2022；Zbl 1493.62132） 全文： 内政部 arXiv公司 参考文献： [1] A.Abdulle、G.A.Pavliotis和U.Vaes，多尺度随机微分方程的谱方法，SIAM/ASA J.不确定性。数量。，5（2017），第720-761页，https://doi.org/10.1137/16M1094117。 ·Zbl 1398.65313号 [2] S.Agapiou、M.Burger、M.Dashti和T.Helin，非参数贝叶斯反问题中的稀疏提升和边缘保持最大后验估计，反问题，34（2018），045002·Zbl 06866427号 [3] V.Akcelik、G.Biros和O.Ghattas，《反波传播的并行多尺度Gauss-Newton-Krylov方法》，载于2002年ACM/IEEE超级计算会议论文集（SC'02），IEEE，2002年，第41-41页。 [4] J.Amezcua、K.Ide、E.Kalnay和S.Reich，合成器变换Kalman-Bucy滤波器，夸特。J.罗伊。美托洛尔。Soc.，140（2014），第995-1004页。 [5] S.Badia和F.Verdugo，Gridap:Julia中的可扩展有限元工具箱，J.开源软件。，5（2020），2520。 [6] V.Bally和D.Talay，随机微分方程的欧拉格式定律。I.分布函数的收敛速度，Probab。理论相关领域，104（1996），第43-60页·Zbl 0838.60051号 [7] V.Bally和D.Talay，随机微分方程的欧拉格式定律。二、。密度收敛速度，蒙特卡罗方法应用。，2（1996年），第93-128页·Zbl 0866.60049号 [8] J.Barzilai和J.M.Borwein，两点步长梯度法，IMA J.Numer。分析。，8（1988），第141-148页·Zbl 0638.65055号 [9] M.Bocquet和P.Sakov，迭代集合卡尔曼平滑器，Quart。J.罗伊。美托洛尔。Soc.，140（2014），第1521-1535页。 [10] A.Borovykh、N.Kantas、P.Parpas和G.A.Pavliotis，互动与否？交互随机镜像下降的收敛特性，摘自机器学习系统中超越一阶方法研讨会，第36届国际机器学习会议（ICML），PMLR，2020年·Zbl 1498.90155号 [11] A.Borovykh、N.Kantas、P.Parpas和G.A.Pavliotis，《关于相互作用粒子的随机镜像下降：收敛特性和方差减少》，Phys。D、 418（2021），132844·Zbl 1498.90155号 [12] N.Bou-Rabee和E.Vanden-Eijnden，SDE的大都市积分器的路径精度和遍历性，Comm.Pure Appl。数学。，63（2010年），第655-696页·Zbl 1214.60031号 [13] K.M.Brown和J.E.Dennis，Jr.，非线性最小二乘近似的Levenberg-Marquardt和Gauss算法的无导数类似物，数值。数学。，18（1971/1972），第289-297页·Zbl 0235.65043号 [14] J.A.Carrillo、Y.-P.Choi、C.Totzeck和O.Tse，基于共识的全局优化方法的分析框架，数学。模型方法应用。科学。，28（2018），第1037-1066页·Zbl 1397.35311号 [15] J.A.Carrillo、F.Hoffmann、A.M.Stuart和U.Vaes，基于共识的抽样，预印本，https://arxiv.org/abs/2106.02519, 2021. [16] J.A.Carrillo和U.Vaes，协变预条件Fokker-Planck方程的Wasserstein稳定性估计，非线性，34（2021），第2275-2295页·Zbl 1466.35343号 [17] P.Chaudhari、A.Oberman、S.Osher、S.Soatto和G.Carlier，《深度松弛：优化深度神经网络的偏微分方程》，《数学研究》。科学。，5 (2018), 30. ·Zbl 1427.82032年 [18] Y.Chen和D.S.Oliver，作为迭代集成平滑器的集成随机最大似然方法，数学。地质科学。，44（2012），第1-26页。 [19] C.Clason、T.Helin、R.Kretschmann和P.Piiroinen，贝叶斯反问题中的广义模式，SIAM/ASA J.不确定性。数量。，7（2019），第652-684页，https://doi.org/10.1137/18M1191804。 ·Zbl 1430.62053号 [20] A.R.Conn、K.Scheinberg和L.N.Vicente，《无导数优化导论》，MPS/SIAM Ser。优化。2009年，费城SIAM，https://doi.org/10.1137/1.9780898718768。 ·Zbl 1163.49001号 [21] S.L.Cotter、G.O.Roberts、A.M.Stuart和D.White，《函数的MCMC方法：修改旧算法使其更快》，Statist。科学。，28（2013），第424-446页·Zbl 1331.62132号 [22] M.Dashti、K.J.H.Law、A.M.Stuart和J.Voss，贝叶斯非参数反问题中的MAP估计及其一致性，反问题，29（2013），095017·Zbl 1281.62089号 [23] M.Dashti和A.M.Stuart，反问题的贝叶斯方法，《不确定性量化手册》，第1卷，施普林格，查姆，2017年，第311-428页。 [24] P.Del Moral，Monte Carlo积分的平均场模拟，Monogr。统计师。申请。普罗巴伯。126，CRC出版社，佛罗里达州博卡拉顿，2013年·Zbl 1282.65011号 [25] P.Del Moral、A.Doucet和A.Jasra，《序贯蒙特卡罗采样器》，J.R.Stat.Soc.Ser。B统计方法。，68（2006），第411-436页·Zbl 1105.62034号 [26] O.R.A.Dunbar、A.Garbuno-Inigo、T.Schneider和A.M.Stuart，理想GCM中对流参数的校准和不确定性量化，J.Adv.模型。地球系统。，13（2021），e2020 MS002454。 [27] W.E，D.Liu和E.Vanden-Eijnden，随机微分方程多尺度方法分析，通信纯应用。数学。，58（2005），第1544-1585页·Zbl 1080.60060号 [28] A.A.Emerick和A.C.Reynolds，用简单水库模型研究基于集合的方法的采样性能，计算。地质科学。，17（2013），第325-350页·Zbl 1382.86018号 [29] O.G.Ernst、B.Sprungk和H.-J.Starkloff，贝叶斯反问题中的集合和多项式混沌卡尔曼滤波器分析，SIAM/ASA J.不确定性。数量。，3（2015），第823-851页，https://doi.org/10.1137/140981319。 ·Zbl 1339.60041号 [30] G.Evensen，《数据同化：集合卡尔曼滤波器》，第二版，施普林格-弗拉格出版社，柏林，2009年·Zbl 1395.93534号 [31] A.Garbuno-Inigo、F.Hoffmann、W.Li和A.M.Stuart，《相互作用的朗之万扩散：梯度结构和集合卡尔曼采样器》，SIAM J.Appl。动态。系统。，19（2020年），第412-441页，https://doi.org/10.1137/19M1251655。 ·Zbl 1447.65119号 [32] A.Garbuno-Inigo、N.Nu¨sken和S.Reich，贝叶斯推理的仿射不变交互Langevin动力学，SIAM J.Appl。动态。系统。，19（2020），第1633-1658页，https://doi.org/10.1137/19M1304891。 ·Zbl 1472.65118号 [33] P.E.Gill、W.Murray、M.A.Saunders和M.H.Wright，《计算数值优化的前向差分区间》，SIAM J.Sci。统计师。计算。，4（1983），第310-321页，https://doi.org/10.1137/0904025。 ·Zbl 0514.65044号 [34] J.Goodman和J.Weare，具有仿射不变性的集合采样器，Commun。申请。数学。计算。科学。，5（2010年），第65-80页·Zbl 1189.65014号 [35] C.Graham和D.Talay，《随机模拟和蒙特卡罗方法：随机模拟的数学基础》，Stoch。模型。申请。普罗巴伯。海德堡施普林格出版社，2013年·Zbl 1281.65003号 [36] S.Gratton、A.S.Lawless和N.K.Nichols，非线性最小二乘问题的近似高斯-牛顿方法，SIAM J.Optim。，18（2007），第106-132页，https://doi.org/10.1137/050624935。 ·Zbl 1138.65046号 [37] P.Greengard，《一个集合化的城市朗之万采样器》，硕士论文，纽约大学科朗研究所，2015年。 [38] E.Haber、F.Luka和L.Ruthotto，Never Look Back——一种改进的EnKF方法及其在无反向传播神经网络训练中的应用，预印本，https://arxiv.org/abs/1805.08034, 2018. [39] M.Hanke，《正则化Levenberg-Marquardt方案及其在地下水反滤问题中的应用》，《反问题》，13（1997），第79-95页·Zbl 0873.65057号 [40] W.K.Hastings，使用马尔可夫链的蒙特卡罗采样方法及其应用，Biometrika，57（1970），第97-109页·Zbl 0219.65008号 [41] T.Helin和M.Burger，无限维贝叶斯反问题中的最大后验概率估计，反问题，31（2015），085009·Zbl 1325.62058号 [42] T.Helin和M.Lassas，统计逆问题和Mumford-Shah泛函中的层次模型，逆问题，27（2011），015008·Zbl 1215.65022号 [43] M.Herty和G.Visconti，反问题的动力学方法，Kinet。相关。模型，12（2019），第1109-1130页·Zbl 1420.35417号 [44] M.R.Hestenes和E.Stiefel，《求解线性系统的共轭梯度方法》，《自然科学研究杂志》。《标准》，49（1952），第409-436页·Zbl 0048.09901号 [45] D.Z.Huang、T.Schneider和A.M.Stuart，《未知卡尔曼反演》，预印本，https://arxiv.org/abs/1202.01580, 2021. [46] M.A.Iglesias、K.J.H.Law和A.M.Stuart，反问题的集合卡尔曼方法，反问题，29（2013），045001·Zbl 1311.65064号 [47] B.Jourdain、T.Lelièvre和B.Miasojedow，随机行走Metropolis算法瞬态阶段的最佳缩放：平均场极限，Ann.Appl。概率。，25（2015），第2263-2300页·Zbl 1329.60262号 [48] J.Kaipio和E.Somersalo，统计和计算反问题，应用。数学。科学。160，Springer-Verlag，纽约，2005年·Zbl 1068.65022号 [49] N.Kantas、P.Parpas和G.A.Pavliotis，《尖锐、平坦和浅薄：相互作用较弱的代理能否学会逃避糟糕的极小值？》？，预印本，https://arxiv.org/abs/1905.04121, 2019. [50] J.Kennedy和R.Eberhart，《粒子群优化》，载于ICNN’95-国际神经网络会议论文集，第4卷，IEEE，1995年，1942-1948页。 [51] S.Kirkpatrick、C.D.Gelatt，Jr.和M.P.Vecchi，《模拟退火优化》，《科学》，220（1983），第671-680页·Zbl 1225.90162号 [52] P.E.Kloeden和E.Platen，随机微分方程的数值解，应用。数学。（纽约）23，施普林格-弗拉格，柏林，1992年·Zbl 0752.60043号 [53] N.B.Kovachki和A.M.Stuart，《集成卡尔曼反演：机器学习任务的无导数技术》，《反演问题》，35（2019），095005·Zbl 1430.68266号 [54] H.J.Kushner和G.G.Yin，《随机逼近和递归算法及应用》，第二版，应用。数学。（纽约）35，斯托克。模型。申请。概率。，Springer Verlag，纽约，2003年·Zbl 1026.62084号 [55] J.Larson、M.Menickelly和S.M.Wild，《无导数优化方法》，《数值学报》。，28（2019），第287-404页·Zbl 1461.65169号 [56] B.Leimkuhler和C.Matthews，《分子动力学：用确定性和随机数值方法》，Interdiscip。申请。数学。39，Springer，Cham，2015年·Zbl 1351.82001号 [57] B.Leimkuhler、C.Matthews和G.Stoltz，平衡和非平衡Langevin分子动力学平均值的计算，IMA J.Numer。分析。，36（2016），第13-79页·Zbl 1347.65014号 [58] B.Leimkuhler、C.Matthews和J.Weare，马尔可夫链蒙特卡罗模拟的集成预处理，统计计算。，28（2018），第277-290页·Zbl 1384.65004号 [59] B.Leimkuhler和M.Sachs，《含组态相关噪声和非保守力的拟马尔科夫广义Langevin方程的遍历性》，载于《失衡随机动力学》，G.Giacomin、S.Olla、E.Saada、H.Spohn和G.Stoltz编辑，Springer Proc。数学。Stat.282，施普林格，查姆，2019年，第282-330页·Zbl 1442.82021号 [60] T.Lelièvre和G.Stoltz，分子动力学中的偏微分方程和随机方法，《数值学报》。，25（2016），第681-880页·Zbl 1348.82065号 [61] K.Levenberg，用最小二乘法求解某些非线性问题的方法，夸特。申请。数学。，2（1944年），第164-168页·Zbl 0063.03501号 [62] Liu Q.和D.Wang，Stein变分梯度下降：一种通用贝叶斯推理算法，载于《高级神经信息》。过程。系统。，2016年，第2378-2386页。 [63] J.Lu，Y.Lu和J.Nolen，Stein变分梯度下降的标度极限：平均场状态，SIAM J.Math。分析。，51（2019），第648-671页，https://doi.org/10.1137/18M1187611。 ·Zbl 1417.35189号 [64] X.Mao，《随机微分方程及其应用》，第二版，英国奇切斯特霍伍德出版社，2008年。 [65] D.W.Marquardt，非线性参数的最小二乘估计算法，《社会工业杂志》。申请。数学。，11（1963年），第431-441页，https://doi.org/10.1137/0111030。 ·Zbl 0112.10505号 [66] J.C.Mattingly、A.M.Stuart和M.V.Tretyakov，通过泊松方程数值时间平均和平稳测度的收敛性，SIAM J.Numer。分析。，48（2010），第552-577页，https://doi.org/10.1137/090770527。 ·Zbl 1217.65014号 [67] N.Metropolis、A.W.Rosenbluth、M.N.Rosenbluth、A.H.Teller和E.Teller，《快速计算机器的状态方程计算》，J.Chem。物理。，21（1953年），第1087-1092页·Zbl 1431.65006号 [68] N.Nuísken和S.Reich，《关于相互作用的朗之万扩散：梯度结构和集合卡尔曼采样器的注记》，Garbuno-Inigo、Hoffmann、Li和Stuart著，预印本，https://arxiv.org/abs/1908.10890, 2019. [69] M.Ottobre和G.A.Pavliotis，广义Langevin方程的渐近分析，非线性，24（2011），第1629-1653页·兹比尔1221.82076 [70] E.Pardoux和A.Yu。Veretennikov，关于泊松方程和扩散近似。一、 Ann.Probab。，29（2001），第1061-1085页·Zbl 1029.60053号 [71] G.A.Pavliotis，随机过程与应用：扩散过程，福克-普朗克和朗之万方程，文本应用。数学。60，Springer，纽约，2014年·Zbl 1318.60003号 [72] G.A.Pavliotis、G.Stoltz和U.Vaes，广义Langevin方程的标度极限，非线性科学杂志。，31 (2021), 8. ·Zbl 1473.35057号 [73] G.A.Pavliotis和A.M.Stuart，随机场中惯性粒子的白噪声极限，多尺度模型。同时。，1（2003），第527-553页，https://doi.org/10.1137/S1540345903421076。 ·Zbl 1038.60060号 [74] G.A.Pavliotis和A.M.Stuart，多尺度方法：平均和均匀化，文本应用。数学。53，施普林格，纽约，2008年·Zbl 1160.35006号 [75] N.Petra、J.Martin、G.Stadler和O.Ghattas，无限维贝叶斯反问题的计算框架，第二部分：随机牛顿MCMC及其在冰盖流动反问题中的应用，SIAM J.Sci。计算。，36（2014），第A1525-A1555页，https://doi.org/10.1137/10934805。 ·Zbl 1303.35110号 [76] R.Pinnau、C.Totzeck、O.Tse和S.Martin，基于共识的全局优化模型及其平均场极限，数学。模型方法应用。科学。，27（2017），第183-204页·Zbl 1388.90098号 [77] J.Quer，《分子动力学中亚稳态动力系统的重要性抽样》，柏林费厄大学博士论文，2018年。 [78] S.Reich，《间歇数据同化的动力系统框架》，BIT，51（2011），第235-249页·Zbl 1216.93098号 [79] S.Reich和S.Weissmann，Fokker-Planck粒子系统用于贝叶斯推理：计算方法，SIAM/ASA J.不确定性。数量。，9（2021），第446-482页，https://doi.org/10.1137/19M1303162。 ·Zbl 1473.65274号 [80] H.Robbins和S.Monro，《随机近似方法》，《数学年鉴》。《统计学》，22（1951），第400-407页·Zbl 0054.05901号 [81] G.O.Roberts、A.Gelman和W.R.Gilks，《随机行走都市算法的弱收敛性和最优缩放》，Ann.Appl。概率。，7（1997），第110-120页·兹比尔0876.60015 [82] G.O.Roberts和J.S.Rosenthal，各种Metropolis-Hastings算法的最佳缩放，统计。科学。，16（2001），第351-367页·Zbl 1127.65305号 [83] G.O.Roberts和R.L.Tweedie，Langevin分布及其离散近似的指数收敛性，Bernoulli，2（1996），第341-363页·Zbl 0870.60027号 [84] P.Sakov，D.S.Oliver和L.Bertino，强非线性系统的迭代EnKF，周一。《天气评论》，140（2012），第1988-2004页。 [85] C.Schillings和A.M.Stuart，反问题的集合卡尔曼滤波器分析，SIAM J.Numer。分析。，55（2017），第1264-1290页，https://doi.org/10.1137/16M105959X。 ·Zbl 1366.65101号 [86] C.Schillings和A.M.Stuart，集合卡尔曼反演的收敛性分析：线性、噪声情况，应用。分析。，97（2018），第107-123页·Zbl 1448.65209号 [87] A.M.Stuart，《反问题：贝叶斯视角》，数字学报。，19（2010年），第451-559页·Zbl 1242.65142号 [88] D.B.Woodard、S.C.Schmidler和M.Huber，平行和模拟回火迟钝混合的充分条件，电子。J.概率。，14（2009年），第780-804页·Zbl 1189.65021号 [89] 吴忠，有效能量转换方案作为应用于分子构象全局优化的特殊延续方法，SIAM J.Optim。，6（1996），第748-768页，https://doi.org/10.1137/S1052623493254698。 ·Zbl 0868.90116号 [90] S.Zhang、A.E.Choromanska和Y.LeCun，弹性平均SGD深度学习，《高级神经信息》。过程。系统。28，C.Cortes、N.Lawrence、D.Lee、M.Sugiyama和R.Garnett编辑，Curran Associates，2015年，第685-693页。 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。