尼尔·查达。;童欣。 非线性环境下集合卡尔曼反演的收敛加速。 （英语） 兹比尔1486.49049 数学。计算。 91，编号335，1247-1280（2022）. 摘要：许多数据科学问题可以表述为反问题，其中参数是通过最小化适当的损失函数来估计的。当涉及复杂的黑盒模型时，通常需要无导数优化工具。集合卡尔曼滤波器（EnKF）是一种基于粒子的无导数贝叶斯算法，最初设计用于数据同化。最近，为了提高计算效率，它被应用于反问题。由此产生的算法称为集合卡尔曼反演（EKI），涉及使用EnKF更新规则运行粒子集合，以便它们能够收敛到最小值。在本文中，我们研究了一般非线性环境下的EKI收敛性。为了提高收敛速度和稳定性，我们考虑使用非恒定步长和协方差膨胀的EKI。我们证明了EKI可以在非凸设置中以有限步到达临界点。进一步证明了当损失函数为强凸函数时，EKI快速收敛到全局极小多项式。我们用两个反问题的数值实验验证了所提出的分析。 引用于12文件 MSC公司： 49号45 最优控制中的逆问题 65K10码 数值优化和变分技术 90 C56 无导数方法和使用广义导数的方法 90C25型 凸面编程 关键词：集合卡尔曼反演;蒂科诺夫正则化;高斯-纽顿法;非恒定步长;收敛性分析 软件：合卡尔曼滤波;凯利;MultiMin（最小值）;阿达格拉德 PDF格式BibTeX公司 XML格式引用 \textit{N.K.Chada}和\textit{X.T.Tong}，数学。计算。91、编号335、1247--1280（2022；Zbl 1486.49049） 全文： DOI程序 arXiv公司 参考文献： [1] JLA07 J.L.Anderson，集合滤波器的自适应协方差膨胀误差校正算法，Tellus A 59（2007），210-224。 [2] JLA09 J.L.Anderson，集合滤波器的时空变化自适应协方差膨胀，Tellus A 61（2009），第1期，72-83。 [3] 弗兰克·鲍尔（Frank Bauer）；托尔斯滕·霍哈格；Munk，Axel，随机噪声非线性反问题的迭代正则高斯-奈顿方法，SIAM J.Numer。分析。，47, 3, 1827-1846 (2009) ·Zbl 1197.65060号 ·doi:10.1137/080721789 [4] Bradley M.贝尔。；Cathey，Frederick W.，迭代卡尔曼滤波器更新为高斯-纽顿方法，IEEE Trans。自动垫。控制，38，2，294-297（1993）·Zbl 0775.93237号 ·数字对象标识代码：10.1109/9.250476 [5] Dennis S.Bernstein，《矩阵数学》，xxxviii+726页（2005），普林斯顿大学出版社，新泽西州普林斯顿·Zbl 1075.15001号 [6] Bertsekas，Dimitri P.，增量最小二乘法和扩展卡尔曼滤波器，SIAM J.Optim。，6, 3, 807-822 (1996) ·兹比尔0945.93026 ·doi:10.1137/S1052623494268522 [7] 马丁·本宁（Martin Benning）；Burger，Martin，《反问题的现代正则化方法》，《数值学报》。，27, 1-111 (2018) ·Zbl 1431.65080号 ·doi:10.1017/s0962492918000016 [8] 迪米特里斯·伯西马斯；John Tsitsiklis，《模拟退火》。概率与算法，17-29（1992），美国国家科学院。华盛顿特区出版社·Zbl 0764.60073号 [9] 亚历山大·贝斯科斯（Alexandros Beskos）；Dan Crisan；Jasra，Ajay，《关于高维序贯蒙特卡罗方法的稳定性》，Ann.Appl。可能性。，24, 4, 1396-1445 (2014) ·Zbl 1304.82070号 ·doi:10.1214/13-AAP951 [10] BEM01 C.Bishop、B.Etherton和S.Majumdar，使用集合变换卡尔曼滤波器的自适应采样第i部分：理论方面，《月度天气评论》129（2001），420-436。 [11] Bl“{o} 米克尔，德克；克劳迪娅·席林斯；菲利普·瓦克；Weissmann，Simon，整体卡尔曼反演的适定性和收敛性分析，逆问题，35，8，085007，32 pp.（2019）·Zbl 1432.62325号 ·doi:10.1088/1361-6420/ab149c [12] Bui-Thanh，T。；Girolma，M.，用Riemann流形Hamiltonian Monte Carlo求解大规模PDE-约束贝叶斯反问题，反问题，30，11，114014，23 pp.（2014）·Zbl 1306.65269号 ·doi:10.1088/0266-5611/30/11/114014 [13] 马丁·汉堡包；Osher，Stanley，凸变分正则化的收敛速度，反问题，20，5，1411-1421（2004）·Zbl 1068.65085号 ·doi:10.1088/0266-5611/20/5/005 [14] NKC17 N.K.Chada，层次集合卡尔曼反演分析，预印本1801.008472018。 [15] Neil K.Chada。；马可·A·伊格莱西亚斯。；罗伊宁，拉西；Stuart，Andrew M.，集合卡尔曼反演的参数化，反演问题，34，5，055009，31 pp.（2018）·Zbl 1515.62041号 ·doi:10.1088/1361-6420//aab6d9 [16] Neil K.Chada。；安德鲁·斯图尔特（Andrew M.Stuart）。；Tong，Xin T.，系综卡尔曼反演中的Tikhonov正则化，SIAM J.Numer。分析。，58, 2, 1263-1294 (2020) ·Zbl 1447.35337号 ·doi:10.1137/19M1242331 [17] 陈曦；Jason D.Lee。；童欣T。；张一晨，随机梯度下降模型参数的统计推断，Ann.Statist。，48, 1, 251-273 (2020) ·Zbl 1440.62287号 ·doi:10.1214/18-AOS1801 [18] 塞巴斯蒂安·雷奇；Cotter，Colin J.，间歇数据同化的集合滤波技术。大规模反问题，Radon Ser。计算。申请。数学。13、91-134（2013），柏林德格鲁伊特·兹比尔1291.65032 [19] Dashti，M。；法律，K.J.H。；Stuart，A.M。；Voss，J.，Bayesian非参数反问题中的MAP估计及其一致性，反问题，29，9，095017，27 pp.（2013）·Zbl 1281.62089号 ·doi:10.1088/0266-5611/29/9/095017 [20] 皮埃尔·德尔·莫勒尔（Pierre Del Moral）；阿诺杜塞特；Jasra，Ajay，顺序蒙特卡罗采样器，J.R.Stat.Soc.Ser。B统计方法。，68, 3, 411-436 (2006) ·Zbl 1105.62034号 ·文件编号：10.1111/j.1467-9868.2006.00553.x [21] MMD19 M.M.Dunlop，贝叶斯反问题中的乘性噪声：MAP估计的稳健性和一致性，预印本1910.146322019。 [22] 约翰·杜奇（John Duchi）；哈赞，埃拉德；Singer，Yoram，在线学习和随机优化的自适应次梯度方法，J.Mach。学习。第12号决议，2121-2159（2011年）·Zbl 1280.68164号 [23] Engl、Heinz W。；马丁·汉克；Neubauer，Andreas，反问题的正则化，数学及其应用375，viii+321 pp.（1996），Kluwer Academic Publishers Group，Dordrecht·Zbl 0859.65054号 [24] 埃文森（Evensen）、盖尔（Geir），《数据同化》，xxiv+307 pp.（2009），柏林斯普林格-弗拉格出版社·Zbl 1395.93534号 ·doi:10.1007/978-3642-03711-5 [25] GE03 G.Evensen，集合卡尔曼滤波器：理论公式和实际实现，海洋动力学。53（2003），第4期，343-367。 [26] 阿尔弗雷多·加布诺·伊尼戈；弗朗卡·霍夫曼；李武臣；Stuart，Andrew M.，《相互作用的朗之万扩散：梯度结构和集合卡尔曼采样器》，SIAM J.Appl。动态。系统。，19, 1, 412-441 (2020) ·Zbl 1447.65119号 ·doi:10.1137/19M1251655 [27] GSS93 N.J.Gordon、D.J.Salmond和A.F.M.Smith，非线性/非高斯贝叶斯状态估计的新方法，IEE Proc。F-雷达信号处理。140（1993），第2期。 [28] 格拉顿，S。；Lawless，美国。；Nichols，N.K.，非线性最小二乘问题的近似高斯-纽顿方法，SIAM J.Optim。，18, 1, 106-132 (2007) ·Zbl 1138.65046号 ·doi:10.1137/050624935 [29] HLR18 E.Haber、F.Lucka和L.Ruthotto，Never look back-A modified EnKF method and its application to training of neural networks without back propagation，预印本1805.080342018。 [30] Hanke，Martin，正则化Levenberg-Marquardt方案，及其在地下水反滤问题中的应用，反问题，13，1，79-95（1997）·Zbl 0873.65057号 ·doi:10.1088/0266-5611/13/007 [31] HW05 T.M.Hamill和J.S.Whitaker，《解释系综数据同化中未解决尺度造成的误差：不同方法的比较》，《月度天气》第133版（2005），第11期，3132-3147页。 [32] HM01 P.L.Houtekamer和H.L.Mitchell，大气数据同化的序贯集合卡尔曼滤波器，《月度天气评论》129（2001），第1期，第123-137页。 [33] Iglesias，Marco A.，PDE约束反问题的正则化迭代集合Kalman方法，反问题，32，2，025002，45 pp.（2016）·Zbl 1334.65110号 ·doi:10.1088/0266-5611/32/2/025002 [34] 马可·A·伊格莱西亚斯。；科迪·J·H·劳。；Stuart，Andrew M.，反问题的集合卡尔曼方法，反问题，29，4，045001，20页（2013）·Zbl 1311.65064号 ·doi:10.1088/0266-5611/29/4/045001 [35] 马可·伊格莱西亚斯（Marco Iglesias）；帕克，米荷；Tretyakov，M.V.，树脂传递模塑中的贝叶斯反演，反演问题，34，10，105002，46页（2018）·Zbl 1446.65097号 ·doi:10.1088/1361-6420/aad1cc [36] KU97 S.J.Julier和J.K.Uhlmann，卡尔曼滤波器对非线性系统的新扩展，信号处理，传感器融合和目标识别VI，国际光学和光子学学会，第3068卷，1997年。 [37] Kalman，R.E.，线性滤波和预测问题的新方法，Trans。ASME系列。D.J.基础工程，82，1，35-45（1960） [38] 尼古拉斯·坎塔斯（Nikolas Kantas）；亚历山大·贝斯科斯（Alexandros Beskos）；Jasra，Ajay，高维逆问题的序贯蒙特卡罗方法：Navier-Stokes方程的案例研究，SIAM/ASA J.不确定性。数量。，2, 1, 464-489 (2014) ·Zbl 1308.65010号 ·doi:10.1137/130930364 [39] Kelley，C.T.，迭代优化方法，应用数学前沿18，xvi+180页（1999年），工业与应用数学学会（SIAM），宾夕法尼亚州费城·Zbl 0934.90082号 ·数字对象标识代码：10.1137/1.9781611970920 [40] Kelly，D.T.B。；法律，K.J.H。；Stuart，A.M.，集合卡尔曼滤波器在离散和连续时间的良好性和准确性，非线性，27，10，2579-2604（2014）·Zbl 1305.62323号 ·doi:10.1088/0951-7715/27/10/2579 [41] KMT16 D.T.Kelly、A.J.Majda和X.T.Tong，具有严格灾难性滤波器发散的混凝土集合卡尔曼滤波器，Proc。国家。阿卡德。科学。，112（2016），第34期，10589-105942016年。 [42] 柯克帕特里克，S。；小C·D·盖拉特。；Vecchi，M.P.，《模拟退火优化》，《科学》，220，4598，671-680（1983）·兹比尔1225.90162 ·doi:10.1126/science.220.4598.671 [43] 科瓦奇奇（Nikola B.Kovachki）。；Stuart，Andrew M.，Ensemble Kalman inversion：机器学习任务的无导数技术，Inverse Problems，35，9，095005，35 pp.（2019）·Zbl 1430.68266号 ·doi:10.1088/1361-6420/ab1c3a [44] Evan Kwiatkowski；Mandel，Jan，平方根系综卡尔曼滤波器在大系综极限下的收敛性，SIAM/ASA J.不确定。数量。，3, 1, 1-17 (2015) ·Zbl 1329.60083号 ·数字对象标识代码：10.1137/140965363 [45] 特蕾莎·兰格；威廉·斯坦纳特（Wilhelm Stannat），关于集合卡尔曼滤波器的连续时间限制，数学。公司。，90, 327, 233-265 (2021) ·Zbl 1458.60082号 ·doi:10.1090/com/3588 [46] 特蕾莎·兰格；Wilhelm Stannat，关于集合平方根滤波器的连续时间限制，Commun。数学。科学。，19, 7, 1855-1880 (2021) ·Zbl 1477.93163号 [47] 科迪·劳；安德鲁·斯图亚特（Andrew Stuart）；Zygalakis，Konstantinos，《数据同化》，《应用数学文本》62，xviii+242 pp.（2015），施普林格，查姆·兹比尔1353.60002 ·doi:10.1007/978-3-319-20325-6 [48] LR09 G.Li和A.C.Reynolds，数据同化的迭代集合卡尔曼滤波器，SPE J.14（2009），496-505。 [49] Le Gland，F。；蒙贝特，V。；Tran，V.-D.，集合卡尔曼滤波器的大样本渐近性。《牛津非线性滤波手册》，598-631（2011），牛津大学出版社，牛津·Zbl 1225.93108号 [50] 刘强；Tong，Xin T.，用吉布斯采样器加速都市，微分方程局部计算，统计计算。，30, 4, 1037-1056 (2020) ·Zbl 1447.62135号 ·doi:10.1007/s11222-020-09934-w [51] 大卫·M·利文斯（David M.Lives）。；舞蹈，莎拉·L。；Nichols，Nancy K.，无偏集成平方根滤波器，Phys。D、 237、8、1021-1028（2008）·Zbl 1147.93413号 ·doi:10.1016/j.physd.2008.01.05 [52] 加布里埃尔·J·上帝。；凯瑟琳·鲍威尔（Catherine E.Powell）。；Tony Shardlow，《计算随机偏微分方程导论》，剑桥应用数学教材，xii+503 pp.（2014），剑桥大学出版社，纽约·Zbl 1327.60011号 ·doi:10.1017/CBO9781139017329 [53] ENL96 E.N.Lorenz，《可预测性：部分解决的问题》，Proc。ECMWF塞米恩。可预测性，1（1986），1-18。 [54] 安德鲁·马吉达（Andrew J.Majda）。；Harlim，John，《过滤复杂湍流系统》，x+357 pp.（2012），剑桥大学出版社，剑桥·Zbl 1250.93002号 ·doi:10.1017/CBO9781139061308 [55] 安德鲁·马吉达（Andrew J.Majda）。；Tong，Xin T.，《大尺寸集合卡尔曼滤波器的性能》，Comm.Pure Appl。数学。，71, 5, 892-937 (2018) ·Zbl 1390.93799号 ·doi:10.1002/cpa.21722 [56] Mandel，Jan；Loren Cobb；乔纳森·比兹利（Jonathan D.Beezley），关于集合卡尔曼滤波器的收敛性，应用。数学。，56, 6, 533-541 (2011) ·Zbl 1248.62164号 ·doi:10.1007/s10492-011-0031-2 [57] 森山，Hiroyuki；山下，Nobuo；福岛，Masao，具有自适应步长规则的增量Gauss-Newton算法，计算。最佳方案。申请。，26, 2, 107-141 (2003) ·Zbl 1081.90050 ·doi:10.1023/A:1025703629626 [58] Morzfeld，M。；Tong，X.T。；Marzouk，Y.M.，MCMC的定位：用局部结构对高维后验分布进行采样，J.Comput。物理。，380, 1-28 (2019) ·Zbl 1451.65011号 ·doi:10.1016/j.jcp.2018.12.008 [59] Nesterov，Yurii，凸优化入门讲座，应用优化87，xviii+236 pp.（2004），Kluwer学术出版社，马萨诸塞州波士顿·兹比尔1086.90045 ·doi:10.1007/978-1-4419-8853-9 [60] 豪尔赫·诺塞达尔；Stephen J.Wright，《数值优化》，《Springer运筹学与金融工程系列》，xxii+664页（2006），纽约Springer出版社·Zbl 1104.65059号 [61] ORL08 D.Oliver、A.C.Reynolds和N.Liu，《油藏描述和历史拟合的反演理论》，剑桥大学出版社，2008年。 [62] Patel，Vivak，具有停止条件和对条件不敏感的基于卡尔曼的随机梯度方法，SIAM J.Optim。，26, 4, 2620-2648 (2016) ·Zbl 1388.93091号 ·doi:10.1137/15M1048239 [63] 普拉吉亚科斯，V.P。；马古拉斯，G.D。；Vrahatis，M.N.，随机梯度下降中的学习速率自适应。凸分析和全局优化进展，毕达哥里翁，2000，非凸优化。申请。54333-444（2001年），Kluwer学院。出版物。，多德雷赫特·Zbl 1049.90139号 ·doi:10.1007/978-14613-0279-7\_27 [64] 波利亚克，B.T。；Juditsky，A.B.，通过平均加速随机近似，SIAM J.控制优化。，30, 4, 838-855 (1992) ·Zbl 0762.62022号 ·doi:10.1137/0330046 [65] RCB15 P.N.Raanes、A.Carrassi和L.Bertino，《扩展平方根法以解释集合方法中的加性预测噪声》，《月度天气评论》143（2015），第10期，3857-3873。 [66] Reich，Sebastian，《数据同化：Schr》{o} 丁格尔透视图，Acta Numer。，28, 635-711 (2019) ·Zbl 1437.62350号 ·doi:10.1017/s096249291900011 [67] 塞巴斯蒂安·雷奇；Cotter，Colin，概率预测和贝叶斯数据同化，x+297 pp.（2015），剑桥大学出版社，纽约·Zbl 1314.62005年 ·doi:10.1017/CBO9781107706804 [68] Reif，Konrad；G“{u} 纳瑟斯特凡；Yaz，发动机；Unbehauen，Rolf，离散时间扩展卡尔曼滤波器的随机稳定性，IEEE Trans。自动垫。控制，44，4，714-728（1999）·Zbl 0967.93090号 ·数字对象标识代码：10.1109/9.754809 [69] 路易斯·米盖尔·里奥斯；Sahinidis，Nikolaos V.，《无导数优化：算法综述和软件实现比较》，J.Global Optim。，56, 3, 1247-1293 (2013) ·兹比尔1272.90116 ·doi:10.1007/s10898-012-9951-y [70] 赫伯特·罗宾斯；Monro，Sutton，《随机近似方法》，《数学年鉴》。统计，22400-407（1951）·Zbl 0054.05901号 ·doi:10.1214/aoms/1177729586 [71] 克劳迪娅·席林斯；Stuart，Andrew M.，《反问题的集合卡尔曼滤波器分析》，SIAM J.Numer。分析。，55, 3, 1264-1290 (2017) ·Zbl 1366.65101号 ·doi:10.137/16M105959X [72] SAN05 M.Schweiger、S.R.Arridge和I.Nissila，《扩散光学层析成像中图像重建的高斯-奈顿方法》，Phys。医学生物学。50 (2005), 2365-2386. [73] Stuart，A.M.，《逆向问题：贝叶斯观点》，《数值学报》。，19, 451-559 (2010) ·Zbl 1242.65142号 ·doi:10.1017/S0962492910000061 [74] Sullivan，T.J.，《不确定性量化导论》，《应用数学文本》63，xii+342 pp.（2015），施普林格，查姆·Zbl 1336.60002号 ·doi:10.1007/978-3-319-23395-6 [75] 阿尔伯特·塔兰托拉（Albert Tarantola），《反问题理论》（Inverse problem theory），xvi+613 pp.（1987），爱思唯尔科学出版社，B.V.，阿姆斯特丹·Zbl 0875.65001号 [76] TAB03 M.K.Tippett、J.L.Anderson、C.H.Bishop、T.M.Hamill和C.Whitaker，合集平方根滤波器，Mon。我们。第131版（2003年），1485-1490。 [77] 童欣堂，局部集合卡尔曼滤波器性能分析，非线性科学杂志。，28, 4, 1397-1442 (2018) ·Zbl 1394.60038号 ·doi:10.1007/s00332-018-9453-2 [78] 童新泰。；安德鲁·马吉达（Andrew J.Majda）。；Kelly，David，具有自适应协方差膨胀的集合卡尔曼滤波器的非线性稳定性，Commun。数学。科学。，14, 5, 1283-1313 (2016) ·Zbl 1370.37009号 ·doi:10.4310/CMS.2016.v14.n5.a5 [79] WM00 E.A.Wan和R.Van Der Merwe，用于非线性估计的无迹卡尔曼滤波器，IEEE 2000信号处理、通信和控制自适应系统会议论文集，IEEE，2000年。 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。