陈玉明;丹尼尔·桑兹·阿隆索;丽贝卡·威利特 自微分集合卡尔曼滤波器。 （英语） Zbl 1493.62499号 SIAM J.数学。数据科学。 4，编号2，801-833（2022）。 摘要：数据同化涉及到对时间演变状态的顺序估计。当状态为高维且状态空间动力学未知时，这项任务在广泛的科学和工程应用中产生，尤其具有挑战性。本文介绍了一种在数据同化中学习动力系统的机器学习框架。我们的自微分集合卡尔曼滤波器（AD-EnKFs）将用于状态恢复的集合卡尔曼滤波与用于学习动力学的机器学习工具相结合。在这样做的过程中，AD-ENKF利用集成卡尔曼滤波器的能力来缩放到高维状态，并利用自动微分的能力来训练动力学的高维代理模型。使用Lorenz-96模型的数值结果表明，AD-EnKF优于使用期望最大化或粒子滤波器合并数据同化和机器学习的现有方法。此外，AD-EnKF很容易实现，并且需要最少的调整。 引用于5文件 MSC公司： 2005年6月2日 马尔可夫过程：估计；隐马尔可夫模型 68T09号 数据分析和大数据的计算方面 68T07型 人工神经网络与深度学习 86-08 地球物理学相关问题的计算方法 关键词：集合卡尔曼滤波器;自微分;数据同化;机器学习 软件：日本宇宙航空公司 PDF格式BibTeX公司 XML格式引用 \textit{Y.Chen}等人，SIAM J.Math。数据科学。4，编号2，801--833（2022；Zbl 1493.62499） 全文： 内政部 arXiv公司 参考文献： [1] M.Abadi、P.Barham、J.Chen、Z.Chen、A.Davis、J.Dean、M.Devin、S.Ghemawat、G.Irving、M.Isard等人，《Tensorflow:大规模机器学习系统》，载于2016年第十二届USENIX操作系统设计与实现研讨会论文集，第265-283页。 [2] S.Agapiou、O.Papaspiliopoulos、D.Sanz Alonso和A.M.Stuart，《重要性抽样：内在维度和计算成本》，Statist。科学。，32（2017年），第405-431页·Zbl 1442.62026号 [3] J.L.Anderson，《用于数据同化的集合调整卡尔曼滤波器》，《月度天气评论》，129（2001），第2884-2903页。 [4] J.L.Anderson和S.L.安德森，《产生集合同化和预报的非线性滤波问题的蒙特卡罗实现》，《月度天气评论》，127（1999），第2741-2758页。 [5] C.Andrieu、A.Doucet和R.Holenstein，《粒子马尔可夫链蒙特卡罗方法》，J.R.Stat.Soc.Ser。《美国统计年鉴》。，72（2010年），第269-342页·Zbl 1411.65020号 [6] I.Ayed、E.de Beízenac、A.Pajot、J.Brajard和P.Gallinari，《从部分观测中学习动力系统》，预印本，arXiv:1902.111362019年。 [7] C.M.Bishop，模式识别和机器学习，Springer，纽约，2006年·Zbl 1107.68072号 [8] M.Bocquet、J.Brajard、A.Carrassi和L.Bertino，《数据同化作为推断动力学模型常微分方程表示的学习工具》，《地球物理学中的非线性过程》，26（2019），第143-162页。 [9] M.Bocquet、J.Brajard、A.Carrassi和L.Bertino，《通过合并数据同化、机器学习和期望最大化对混沌动力学的贝叶斯推断》，预印本，arXiv:2001.062702020。 [10] M.Bocquet、C.A.Pires和L.Wu，《地球物理数据同化中的超越高斯统计建模》，《月度天气评论》，138（2010），第2997-3023页。 [11] J.Bradbury、R.Frostig、P.Hawkins、M.J.Johnson、C.Leary、D.Maclaurin、G.Necula、A.Paszke、J.VanderPlas、S.Wanderman-Mille和Q.Zhang，JAX：Python+NumPy程序的可组合转换，http://github.com/google/jax, 2018. [12] J.Brajard、A.Carrassi、M.Bocquet和L.Bertino，结合数据同化和机器学习，从稀疏和噪声观测模拟动力学模型：Lorenz 96模型的案例研究，J.Compute。科学。，44 (2020), 101171. [13] S.L.Brunton和J.N.Kutz，《数据驱动科学与工程：机器学习、动态系统和控制》，剑桥大学出版社，英国剑桥，2019年·Zbl 1407.68002号 [14] A.Carrassi、M.Bocquet、A.Hannart和M.Ghil，使用数据同化估计模型证据，夸特。英国皇家气象学会，143（2017），第866-880页。 [15] N.K.Chada，Y.Chen和D.Sanz-Alonso，《迭代集合卡尔曼方法：具有一些新变体的统一观点》，《数据科学基础》，3（2021），第331-369页·Zbl 1493.65180号 [16] R.T.Q.Chen、Y.Rubanova、J.Bettencourt和D.K.Duvenaud，《神经信息处理系统进展》，第31卷，S.Bengio、H.Wallach、H.Larochelle、K.Grauman、N.Cesa Bianchi和R.Garnett编辑，Curran Associates，2018年，第6571-6583页，https://proceedings.neurips.cc/paper/2018/file/69386f6bb1dfed68692a24c8686939b9-paper.pdf。 [17] T.J.Cocucci、M.Pulido、M.Lucini和P.Tandeo，使用在线期望最大化算法的粒子和集合卡尔曼滤波器中的模型误差协方差估计，Quart。英国皇家气象学会，147（2021），第526-543页。 [18] A.Corenflos、J.Thornton、A.Doucet和G.Deligiannidis，通过熵正则最优传输的可微粒子滤波，预印本，arXiv:2102.078502021。 [19] D.Crisan、P.Del Moral、A.Jasra和H.Ruzayqat，使用集合卡尔曼-布基滤波器的对数规范化常数估计及其在高维模型中的应用，预印本，arXiv:2101.114602021。 [20] E.De Brouwer、J.Simm、A.Arany和Y.Moreau，《GRU-ODE-Bayes:零星观测时间序列的连续建模》，预印本，arXiv:1905.123742019年。 [21] P.Del Moral，Feynman-Kac公式：谱系和相互作用粒子系统及其应用，Probab。申请。，Springer-Verlag，纽约，2004年·Zbl 1130.60003号 [22] P.Del Moral，J.Tugaut，等，关于集合Kalman-Bucy滤波器的稳定性和混沌特性的均匀传播，Ann.Appl。概率。，28（2018），第790-850页·Zbl 1391.60082号 [23] T.DelSole和X.Yang，随机动力学模型中的状态和参数估计，Phys。D、 239（2010），第1781-1788页·Zbl 1197.37100号 [24] A.P.Dempster、N.M.Laird和D.B.Rubin，通过EM算法从不完整数据中获得的最大似然，J.R.Stat.Soc.Seri。《美国统计年鉴》。，39（1977年），第1-22页·Zbl 0364.62022号 [25] A.Doucet、S.Godsill和C.Andrieu，《贝叶斯滤波的序贯蒙特卡罗采样方法》，统计学。计算。，10（2000），第197-208页。 [26] A.Doucet和A.M.Johansen，《粒子滤波和平滑教程：十五年后》，《非线性滤波手册》，12（2009），3·Zbl 1513.60043号 [27] D.Dreano、P.Tandeo、M.Pulido、B.Ait-El-Fquih、T.Chonavel和I.Hoteit，使用卡尔曼平滑和期望最大化算法估计非线性状态空间模型中的模型误差协方差，Quart。英国皇家气象学会，143（2017），第1877-1885页。 [28] C.Drovandi，R.G.Everitt，A.Golightly，D.Prangle等人，《集成MCMC:使用集成卡尔曼滤波器加速状态空间模型的伪边缘MCMC》，贝叶斯分析。，出现。 [29] G.Evensen，使用蒙特卡罗方法预测误差统计的非线性准营养模型的序贯数据同化，《海洋地球物理研究杂志》，99（1994），第10143-10162页。 [30] G.Evensen，《数据同化：集合卡尔曼滤波器》，施普林格，纽约，2009年·Zbl 1395.93534号 [31] M.Fraccaro、S.Kamronn、U.Paquet和O.Winther，《无监督学习的非纠缠识别和非线性动力学模型》，预印本，arXiv:1710.057412017年。 [32] R.Furrer和T.Bengtsson，卡尔曼滤波器变体中高维先验和后验协方差矩阵的估计，《多元分析杂志》。，98（2007），第227-255页·Zbl 1105.62091号 [33] G.Gaspari和S.E.Cohn，二维和三维相关函数的构建，夸特。英国皇家气象学会，125（1999），第723-757页。 [34] M.B.Giles，《正向和反向模式算法微分的矩阵导数收集结果》，载于《自动微分进展》，Springer，纽约，2008年，第35-44页·Zbl 1154.65308号 [35] N.J.Gordon、D.J.Salmond和A.F.Smith，非线性/非高斯贝叶斯状态估计的新方法，IEE Proc。F雷达和信号处理，140（1993），第107-113页。 [36] G.A.Gottwald和S.Reich，从噪声观测中监督学习：将机器学习技术与数据同化相结合，物理。D、 423（2021），132911·Zbl 1508.68288号 [37] T.M.Hamill、J.S.Whitaker和C.Snyder，集合卡尔曼滤波器中背景误差协方差估计的距离相关滤波，《每月天气评论》，129（2001），第2776-2790页。 [38] A.Hannart、A.Carrassi、M.Bocquet、M.Ghil、P.Naveau、M.Pulido、J.Ruiz和P.Tandeo，DADA：用于检测和归因天气和气候相关事件的数据同化，《气候变化》，136（2016），第155-174页。 [39] J.Harlim、S.W.Jiang、S.Liang和H.Yang，缺失动力学预测的机器学习，J.Compute。物理。，428 (2021), 109922. ·Zbl 07511409号 [40] P.L.Houtekamer和H.L.Mitchell，使用集合卡尔曼滤波技术进行数据同化，《月度天气评论》，126（1998），第796-811页。 [41] P.L.Houtekamer和H.L.Mitchell，大气数据同化的序贯集合卡尔曼滤波器，《月度天气评论》，129（2001），第123-137页。 [42] P.L.Houtekamer和F.Zhang，《用于大气数据同化的集合卡尔曼滤波器综述》，《月度天气评论》，144（2016），第4489-4532页。 [43] T.Ishizone、T.Higuchi和K.Nakamura，《集成卡尔曼变分目标：非线性潜在轨迹推断与变分推断和集成卡尔曼滤波器的混合》，预印本，arXiv:2010.087292020年。 [44] A.H.Jazwinski，《随机过程和过滤理论》，Courier Corporation，2007年·Zbl 1203.60001号 [45] R.E.Kalman，线性滤波和预测问题的新方法，Trans。ASME J.基础工程，82（1960）。 [46] M.Katzfuss、J.R.Stroud和C.K.Wikle，理解集合卡尔曼滤波器，Amer。统计人员。，70（2016年），第350-357页·Zbl 07665895号 [47] M.Katzfuss、J.R.Stroud和C.K.Wikle，《高维分层动态时空模型的集成卡尔曼方法》，J.Amer。统计师。协会，115（2020），第866-885页·Zbl 1445.62246号 [48] D.P.Kingma和M.Welling，自动编码变分贝叶斯，《第二届学习表征国际会议论文集》，2014年。 [49] A.Kloss、G.Martius和J.Bohg，《如何训练可微分滤波器》，《自动机器人》（2021），第1-18页。 [50] R.Krishnan、U.Shalit和D.Sontag，非线性状态空间模型的结构化推理网络，《AAAI人工智能会议论文集》，2017年。 [51] E.Kwiatkowski和J.Mandel，大集合极限下平方根集合卡尔曼滤波器的收敛性，SIAM/ASA J.不确定性。数量。，3（2015），第1-17页·Zbl 1329.60083号 [52] K.J.Law、D.Sanz-Alonso、A.Shukla和A.M.Stuart，《洛伦兹96模型的滤波精度：固定与自适应观测算子》，Phys。D、 325（2016），第1-13页·Zbl 1364.93343号 [53] K.J.Law和A.M.Stuart，《评估数据同化算法》，《月度天气评论》，140（2012），第3757-3782页。 [54] K.J.Law、A.M.Stuart和K.Zygalakis，《数据同化》，纽约斯普林格出版社，2015年·Zbl 1353.60002号 [55] K.J.Law、H.Tembine和R.Tempone，确定性平均场集合卡尔曼滤波，SIAM J.Sci。计算。，38（2016），第A1251-A1279页·Zbl 1351.60047号 [56] T.A.Le、M.Igl、T.Rainforth、T.Jin和F.Wood，自动编码顺序蒙特卡罗，《学习代表国际会议论文集》，2018年，https://openreview.net/forum？id=BJ8c3f-0b。 [57] F.Le Gland和L.Mevel，隐马尔可夫模型中的递归识别，《第36届决策与控制会议论文集》，第4卷，1997年，第3468-3473页。 [58] F.Le Gland、V.Monbet和V.-D.Tran，集合卡尔曼滤波器的大样本渐近，博士论文，印度信息研究所，2009年·Zbl 1225.93108号 [59] M.E.Levine和A.M.Stuart，《动力系统模型误差的机器学习框架》，预印本，arXiv:2107.066582021年。 [60] E.N.Lorenz，《可预测性：一个部分解决的问题》，载于《1996年可预测性研讨会论文集》。 [61] C.J.Maddison、D.Lawson、G.Tucker、N.Heess、M.Norouzi、A.Mnih、A.Doucet和Y.W.Teh，《过滤变化目标》，预印本，arXiv:1705.092792017年。 [62] A.J.Majda和J.Harlim，《过滤复杂湍流系统》，剑桥大学出版社，英国剑桥，2012年·Zbl 1250.93002号 [63] H.P.McKean，一类非线性抛物方程的混沌传播，收录于随机微分方程，微分方程系列讲座，第7期，1967年，第41-57页。 [64] S.Metref、A.Hannart、J.Ruiz、M.Bocquet、A.Carrassi和M.Ghil，使用基于集成的数据同化与本地化估计模型证据——模型选择问题，夸特。英国皇家气象学会，145（2019），第1571-1588页。 [65] C.Naesseth、S.Linderman、R.Ranganath和D.Blei，变分序贯蒙特卡罗，人工智能与统计国际会议，PMLR，2018年，第968-977页。 [66] D.Nguyen、S.Ouala、L.Drumetz和R.Fablet，《从噪声和部分观测中学习类EM混沌动力学》，预印本，arXiv:1903.103352019年。 [67] E.Ott、B.R.Hunt、I.Szunyogh、A.V.Zimin、E.J.Kostelich、M.Corazza、E.Kalnay、D.Patil和J.A.Yorke，用于大气数据同化的局部集合卡尔曼滤波器，Tellus A Dynamic Meteorology and Oceanography，56（2004），第415-428页。 [68] O.Papaspiliopoulos和M.Ruggiero，最优滤波和对偶过程，伯努利，20（2014），1999-2019页·Zbl 1302.60071号 [69] R.Pascanu、T.Mikolov和Y.Bengio，《关于训练递归神经网络的困难》，《机器学习国际会议》，PMLR，2013年，第1310-1318页。 [70] A.Paszke、S.Gross、F.Massa、A.Lerer、J.Bradbury、G.Chanan、T.Killeen、Z.Lin、N.Gimelshein、L.Antiga等人，《PyTorch:一种命令式、高性能的深度学习库》，摘自《神经信息处理系统进展》，2019年第32期。 [71] M.Pulido、P.Tandeo、M.Bocquet、A.Carrassi和M.Lucini，使用集合卡尔曼滤波结合最大似然方法进行随机参数化识别，Tellus A Dynamic Meteorology and Oceanography，70（2018），第1-17页。 [72] M.Raissi、P.Perdikaris和G.E.Karniadakis，非线性动力系统数据驱动发现的多步神经网络，预印本，arXiv:1801.012362018·Zbl 1386.65030号 [73] R.Ranganath、S.Gerrish和D.Blei，黑箱变分推理，摘自《人工智能与统计》，PMLR，2014年，第814-822页。 [74] S.S.Rangapuram、M.Seeger、J.Gasthaus、L.Stella、Y.Wang和T.Januschowski，时间序列预测的深层状态空间模型，《第32届神经信息处理系统国际会议论文集》，2018年，第7796-7805页。 [75] S.Reich和C.Cotter，概率预测和贝叶斯数据同化，剑桥大学出版社，英国剑桥，2015年·兹比尔1314.62005 [76] D.J.Rezende、S.Mohamed和D.Wierstra，深度生成模型中的随机反向传播和近似推理，机器学习国际会议，PMLR，2014年，第1278-1286页。 [77] M.Roth、G.Hendeby、C.Fritsche和F.Gustafsson，《集成卡尔曼滤波器：信号处理视角》，《EURASIP J.信号处理进展》，2017年（2017年），第1-16页。 [78] Y.Rubanova、R.T.Chen和D.K.Duvenaud，不规则采样时间序列的潜在常微分方程，神经信息处理系统进展，2019年第32期。 [79] P.Sakov和L.Bertino，EnKF两种常见定位方法之间的关系，计算。地质科学。，15（2011年），第225-237页·Zbl 1213.62150号 [80] D.Sanz-Alonso，重要性抽样和必要样本量：信息理论方法，SIAM/ASA J.不确定性。数量。，6（2018），第867-879页·Zbl 1396.65016号 [81] D.Sanz-Alonso和A.M.Stuart，部分观测混沌动力系统滤波分布的长期渐近性，SIAM/ASA J.不确定性。数量。，3（2015），第1200-1220页·Zbl 1337.93094号 [82] D.Sanz-Alonso、A.M.Stuart和A.Taeb，《反问题和数据同化》，预印本，arXiv:1810.061912019年。 [83] D.Sanz-Alonso和Z.Wang，具有重要性抽样的贝叶斯更新：所需样本量，熵，23（2021），https://doi.org/10.3390/e23010022。 [84] C.Schillings和A.M.Stuart，反问题的集合卡尔曼滤波器分析，SIAM J.Numer。分析。，55（2017），第1264-1290页·Zbl 1366.65101号 [85] C.Snyder、T.Bengtsson、P.Bickel和J.Anderson，《高维粒子过滤的障碍》，《月度天气评论》，136（2008），第4629-4640页。 [86] J.R.Stroud和T.Bengtsson，集合卡尔曼滤波器内的时序状态和方差估计，《月度天气评论》，135（2007），第3194-3208页。 [87] J.R.Stroud、M.Katzfush和C.K.Wikle，用于序列状态和参数估计的贝叶斯自适应集合卡尔曼滤波器，《月度天气评论》，146（2018），第373-386页。 [88] J.R.Stroud、M.L.Stein、B.M.Lesht、D.J.Schwab和D.Beletsky，用于卫星数据同化的集合卡尔曼滤波器和平滑器，J.Amer。统计师。协会，105（2010），第978-990页·Zbl 1390.62329号 [89] I.Sutskever、O.Vinyals和Q.V.Le，《神经信息处理系统的进展》，2014年，第3104-3112页。 [90] A.-S.Sznitman，《混沌传播的主题》，收录于《Ecole d'e⁄te⁄de probability⁄S de Saint-Flour XIX-1989》，纽约斯普林格出版社，1991年，第165-251页·兹比尔0732.60114 [91] I.Szunyogh、E.J.Kostelich、G.Gyarmati、E.Kalnay、B.R.Hunt、E.Ott、E.Satterfield和J.A.Yorke，NCEP全球模式的局部集合变换卡尔曼滤波数据同化系统，Tellus A Dynamic Meteorology and Oceanography，60（2008），第113-130页。 [92] P.Tandeo、M.Pulido和F.Lott，使用EnKF和最大似然误差协方差估计进行离线参数估计：在亚脊尺度地形参数化中的应用，夸特。英国皇家气象学会期刊，141（2015），第383-395页。 [93] G.Ueno和N.Nakamura，基于集合的滤波器观测误差协方差矩阵最大似然估计的迭代算法，Quart。英国皇家气象学会期刊，140（2014），第295-315页。 [94] G.Ueno和N.Nakamura，基于集合的滤波器中观测误差协方差矩阵的贝叶斯估计，夸特。英国皇家气象学会期刊，142（2016），第2055-2080页。 [95] G.C.Wei和M.A.Tanner，EM算法和穷人数据增强算法的蒙特卡罗实现，J.Amer。统计师。协会，85（1990），第699-704页。 [96] J.S.Whitaker、T.M.Hamill、X.Wei、Y.Song和Z.Toth，与ncep全球预报系统的集合数据同化，《月度天气评论》，136（2008），第463-482页。 [97] R.J.Williams和D.Zipser，递归网络的基于梯度的学习算法及其计算复杂性，摘自《反向传播：理论、架构和应用》，Y.Chauvin和D.E.Rumelhart，eds.，Erlbaum，Hillsdale，NJ，1995年，第433-486页。 [98] 徐凯和威克尔，参数化时空动态模型的估计，J.Statist。计划。推断，137（2007），第567-588页·Zbl 1102.62104号 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。