×
陈玉明;丹尼尔·桑兹·阿隆索;丽贝卡·威利特

降阶自微分集合卡尔曼滤波器。 （英语） Zbl 07758514号

反向探测。 39，第12号，文章ID 124001，36 p.（2023）.
摘要：本文介绍了一个计算框架，用于重建和预测根据未知或昂贵的模拟动力系统演化的部分观测状态。我们的降阶自微分集合卡尔曼滤波器（ROAD-EnKF）学习动力学的潜在低维代理模型和从潜在空间映射到状态空间的解码器。然后在EnKF中使用学习的动力学和解码器来重建和预测状态。数值实验表明，如果状态动力学表现出隐藏的低维结构，与现有方法相比，ROAD-EnKF可以以较低的计算成本获得较高的精度。如果这种结构没有在潜在状态动力学中表示，ROAD-EnKF可以以较低的成本实现类似的精度，使其成为替代状态重建和预测的一种有希望的方法。
{©2023作者。由IOP出版有限公司出版}

MSC公司：

6200万 随机过程推断
68泰克 人工智能
93埃克斯 随机系统与控制

关键词：

状态重建与预测;集合卡尔曼滤波器;代理模型;机器学习

软件：

GRU-ODE支架;火炬差异;合卡尔曼滤波;神经CDE;火炬;日本宇宙航空公司;TensorFlow公司;PyTorch公司
PDF格式BibTeX公司 XML格式引用
\textit{Y.Chen}等人，《反问题》。39，第12号，文章ID 124001，36页（2023；Zbl 07758514）
全文： 内政部 arXiv公司
OA许可证

参考文献：

[1] Abadi，M.，Tensorflow:大规模机器学习系统，第265-83页（2016）
[2] 阿加皮欧，S。；O.帕帕斯皮利奥普洛斯。；Sanz-Alonso，D。；Stuart，A.M.，《重要性抽样：内在维度和计算成本》，Stat.Sci。，32405-31（2017）·Zbl 1442.62026号 ·doi:10.1214/17-STS611
[3] Y.本吉奥。；Simard，P。；Frasconi，P.，学习梯度下降的长期依赖性是困难的，IEEE Trans。神经网络。，5, 157-66 (1994) ·doi:10.1109/72.279181
[4] Bengtsson，T.，《重新审视多维度的诅咒：超大规模系统中粒子滤波器的崩溃》，《概率与统计：纪念大卫·A·弗里德曼的论文》，第2卷，第316-34页（2008年），数理统计研究所·Zbl 1166.93376号
[5] 本纳，P。；古吉丁，S。；Willcox，K.，参数动力系统基于投影的模型简化方法综述，SIAM Rev.，57，483-531（2015）·Zbl 1339.37089号 ·doi:10.1137/130932715
[6] 布洛尼根，P.J。；Wang，Q.，修正Kuramoto-Sivashinsky方程的最小二乘阴影敏感性分析，混沌孤子分形，64，16-25（2014）·Zbl 1348.35025号 ·doi:10.1016/j.chaos.2014.03.005
[7] 博奎特，M。；Brajard，J。；卡拉西。；Bertino，L.，通过合并数据同化、机器学习和期望最大化对混沌动力学进行贝叶斯推理，Found。数据科学。，2, 55-80 (2020) ·doi:10.3934/fods.2020004年
[8] Bradbury，J.，JAX:Python+NumPy程序的可组合转换（2018）
[9] Brajard，J。；卡拉西。；博奎特，M。；Bertino，L.，结合数据同化和机器学习，从稀疏和噪声观测模拟动力学模型：Lorenz 96模型的案例研究，J.Compute。科学。，44 (2020) ·doi:10.1016/j.jocs.2020.101171
[10] Brunton，S.L。；Proctor，J.L。；Kutz，J.N.，通过非线性动力系统的稀疏识别从数据中发现控制方程，Proc。美国国家科学院。科学。，113, 3932-7 (2016) ·Zbl 1355.94013号 ·doi:10.1073/pnas.1517384113
[11] Burgers，J.，《湍流理论的数学模型》，第1卷，第171-99页（1948年），Elsevier
[12] 卡拉西。；博奎特，M。；Hannart，A。；Ghil，M.，《使用数据同化估计模型证据》，Q.J.R.Meteorol。Soc.，143866-80（2017年）·doi:10.1002/qj.2972
[13] 卡拉西，A。；吉勒，M。；Trevisan，A。；Uboldi，F.，《作为非线性动力系统的数据同化问题：预测相似系统的稳定性和收敛性》，《混沌》，18（2008）·Zbl 1307.34064号 ·doi:10.1063/1.2909862
[14] 查达，新罕布什尔州。；陈，Y。；Sanz-Alonso，D.，《迭代集成卡尔曼方法：具有一些新变体的统一透视图》，Found。数据科学。，3, 331 (2021) ·Zbl 1493.65180号 ·doi:10.3934/fods.2021011
[15] 查达，新罕布什尔州。；Stuart，A.M。；Tong，X.T.，集成卡尔曼反演中的Tikhonov正则化，SIAM J.Numer。分析。，58, 1263-94 (2020) ·Zbl 1447.35337号 ·doi:10.1137/19M1242331
[16] 冠军K。；Lusch，B。；库茨，J.N。；Brunton，S.L.，数据驱动的坐标和控制方程发现，Proc。美国国家科学院。科学。，116, 22445-51 (2019) ·Zbl 1433.68396号 ·doi:10.1073/pnas.1906995116
[17] 陈，N。；Majda，A.J.，《多尺度非线性随机系统的条件高斯系统：预测、状态估计和不确定性量化》，《熵》，20，509（2018）·doi:10.3390/e20070509
[18] 陈，N。；Qi，D.，复杂湍流系统集合预测的基于物理信息的数据驱动算法（2022）
[19] 陈，R.T Q。；Rubanova，Y。；Bettencourt，J。；Duvenaud，D.K.，《神经常微分方程》，第31卷（2018年）
[20] 陈，Y。；Sanz-Alonso，D。；Willett，R.，自微分集合卡尔曼滤波器，SIAM J.Math。数据科学。，4, 801-33 (2022) ·Zbl 1493.62499号 ·doi:10.1137/21M1434477
[21] Corenflos，A。；桑顿，J。；Deligiannidis，G。；Doucet，A.，通过熵正则化最优传输的可微粒子滤波，pp 2100-11（2021）
[22] 德布鲁沃，E。；Simm，J。；Arany，A。；Moreau，Y.，GRU-ODE-Bayes：零星观测时间序列的连续建模，第32卷（2019年）
[23] Dempster，A.P。；新墨西哥州莱尔德。；Rubin，D.B.，《通过EM算法从不完整数据中获得最大似然》，J.R.Stat.Soc.B，39，1-38（1977）·Zbl 0364.62022号 ·doi:10.1111/j.2517-6161.1977.tb01600.x
[24] Dieci，L。；Van Vleck，E.S.，Lyapunov和Sacker-Shell谱间隔，J.Dyn。不同。Equ.、。，19, 265-93 (2007) ·Zbl 1130.34027号 ·doi:10.1007/s10884-006-9030-5
[25] Dieci，L。；Van Vleck，E.S.，《Lyapunov指数：计算》，《应用和计算数学百科全书》，第834-8页（2015），施普林格出版社
[26] Doucet，A。；Johansen，A.M.，《粒子滤波与平滑教程：十五年后》，《牛津非线性滤波手册》，第12卷，第3页（2009），牛津大学出版社·Zbl 1513.60043号
[27] Dreano，D。；Tandeo，P。；Pulido，M。；Ait-El-Fquih，B。；Chonavel，T。；Hoteit，I.，使用卡尔曼平滑和期望最大化算法估计非线性状态空间模型中的模型误差协方差，Q.J.R.Meteorol。Soc.，1431877-85（2017）·doi:10.1002/qj.3048
[28] Drovandi，C。；埃弗里特，R.G。；Golightly，A。；Prangle，D.，《集成MCMC：使用集成卡尔曼滤波器加速状态空间模型的伪边缘MCMC》，贝叶斯分析。，17, 223-60 (2022) ·Zbl 07809848号 ·doi:10.1214/20-BA1251
[29] Evensen，G.，《使用蒙特卡罗方法预测误差统计的非线性准营养模型的序贯数据同化》，J.Geophys。研究，99，10143-62（1994）·doi:10.1029/94JC00572
[30] Evensen，G.，《数据同化：集合卡尔曼滤波器》（2009），施普林格出版社·Zbl 1395.93534号
[31] Farchi，A。；Laloyaux，P。；博纳维塔，M。；Bocquet，M.，《使用机器学习纠正数据同化和预测应用中的模型误差》，Q.J.R.Meteorol。社会学，1473067-84（2021）·doi:10.1002/qj.4116
[32] O.A.加塔斯。；Sanz-Alonso，D.，集成卡尔曼更新的非症状分析：有效维度和定位（2022）
[33] Giles，M.B.，《正向和反向模式算法微分的矩阵导数收集结果》，《自动微分的进展》，第35-44页（2008），Springer·Zbl 1154.65308号
[34] F.J.冈萨雷斯。；Balajewicz，M.，用于学习流体系统低维特征动力学的深卷积递归自动编码器（2018）
[35] 新泽西州戈登。；Salmond，D.J。；Smith，A.F.，非线性/非高斯贝叶斯状态估计的新方法，第140卷，第107-13页（1993）
[36] Guibas，J。；Mardani，M。；李，Z。；陶，A。；Anandkumar，A。；Catanzaro，B.，通过自适应傅立叶神经算子实现变压器的高效代币混合（2021）
[37] Guth，P.A。；席林斯，C。；Weissmann，S.，基于神经网络的一次性反演的集成卡尔曼滤波器，偏微分方程的优化和控制：不确定性量化，开环和闭环控制以及形状优化，第29卷，第393页（2022年），De Gruyter·Zbl 1491.65120号
[38] 哈米尔，T.M。；Whitaker，J.S。；Snyder，C.，集合卡尔曼滤波器中背景误差协方差估计的距离相关滤波，Mon。《天气评论》，1292776-90（2001）·doi:10.1175/1520-0493（2001）1292.0.CO；2
[39] 哈里姆·J。；江南伟。；Liang，S。；Yang，H.，用于具有缺失动力学的预测的机器学习，J.Comput。物理。，428（2021）·Zbl 07511409号 ·doi:10.1016/j.jcp.2020.109922
[40] 他，Y。；康，S-H；Liao，W。；刘，H。；Liu，Y.，《利用数值技术从单个噪声观测集稳健识别微分方程》，SIAM J.Sci。计算。，44，A1145-75（2022）·Zbl 07525086号 ·数字对象标识码：10.1137/20M134513X
[41] 他，Y。；Suh，N。；霍，X。；Kang，S.H。；Mei，Y.，从单个噪声轨迹正则化PDE识别的渐近理论，SIAM/ASA J.不确定性。量化，1012-36（2022）·Zbl 1493.62440号 ·doi:10.1137/21M1398884
[42] 他，Y。；赵，H。；钟毅，一个人能从一个偏微分方程的解中学到多少？（2022年）
[43] Houtekamer，P.L。；Mitchell，H.L.，用于大气数据同化的序贯集合卡尔曼滤波器，Mon。《天气评论》，129123-37（2001）·doi:10.1175/1520-0493（2001）1292.0.CO；2
[44] Houtekamer，P.L。；Zhang，F.，《大气数据同化的集合卡尔曼滤波器综述》，Mon。《天气评论》，144，4489-532（2016）·doi:10.1175/MWR-D-15-0440.1
[45] 约旦，I.D。；Sokół，P.A。；Park，I.M.，通过连续时间动力系统的透镜观察门式递归单位，Front。计算。神经科学。，15 (2021) ·doi:10.3389/fncom.2021.678158
[46] Kalman，R.E.，《线性滤波和预测问题的新方法》，《基础工程杂志》，第82期，第35-45页（1960年）·数字对象标识代码：10.1115/1.3662552
[47] Katzfuss，M。；斯特劳德，J.R。；Wikle，C.K.，《理解集合卡尔曼滤波器》，美国统计局，70，350-7（2016）·Zbl 07665895号 ·doi:10.1080/00031305.2016.1141709
[48] Kidger，P.等人。；莫里尔，J。；Foster，J。；Lyons，T.，不规则时间序列的神经控制微分方程（2020）
[49] Kingma，D.P。；Welling，M.，自动编码变分贝叶斯（2014）
[50] Kuramoto，Y。；Tsuzuki，T.，远离热平衡的耗散介质中浓度波的持续传播，Prog。西奥。物理。，55, 356-69 (1976) ·doi:10.1143/PTP.55.356
[51] 法律，K.J。；Sanz-Alonso，D。；Shukla，A。；Stuart，A.M.，《洛伦兹96模型的滤波精度：固定与自适应观测算子》，Physica D，325，1-13（2016）·Zbl 1364.93343号 ·doi:10.1016/j.physd.2015.12.008
[52] Le，T.A。；伊格尔，M。；Rainforth，T。；Jin，T。；Wood，F.，自动编码顺序蒙特卡洛（2017）
[53] Le Gland，F。；Mevel，L.，隐马尔可夫模型中的递归识别，第4卷，第3468-73页（1997）
[54] Lechner，M。；Hasani，R.，《在不规则采样的时间序列中学习长期依赖性》（2020年）
[55] 莱文，M。；Stuart，A.，《动力系统模型误差的机器学习框架》，Commun。美国数学。社会学，2283-344（2022）·Zbl 07750994号 ·doi:10.1090/cams/10
[56] 李，Z。；科瓦奇基，N。；Azizzadenesheli，K。；刘，B。；巴塔查里亚，K。；Stuart，A。；Anandkumar，A.，参数偏微分方程的Fourier神经算子（2020）
[57] 利普顿，Z.C。；J.伯克维茨。；Elkan，C.，《用于序列学习的递归神经网络评论》（2015）
[58] Lusch，B。；库茨，J.N。；Brunton，S.L.，《非线性动力学普遍线性嵌入的深度学习》，国家通讯社。，9, 1-10 (2018) ·doi:10.1038/s41467-018-07210-0
[59] Maclean，J。；Van Vleck，E.S.，基于降阶数据模型的数据同化粒子滤波器，Q.J.R.Meteorol。社会学，1471892-1907（2021）·doi:10.1002/qj.401
[60] 麦迪森，C.J。；劳森·J。；塔克，G。；海斯，N。；诺鲁齐，M。；Mnih，A。；Doucet，A。；Teh，Y.，过滤可变目标，第30卷（2017年）
[61] Majda，A.J。；Qi，D.，预测复杂湍流动力系统统计响应和不确定性量化的降阶模型策略，SIAM Rev.，60，491-549（2018）·Zbl 1393.76041号 ·doi:10.1137/16M1104664
[62] 毛，X。；沈，C。；Yang，Y-B，使用具有对称跳跃连接的深度卷积编码器-解码器网络进行图像恢复，第29卷（2016年）
[63] Maulik，R。；Lusch，B。；Balaprakash，P.，用递归神经网络和卷积自编码器对对流主导系统进行降阶建模，Phys。流体，33（2021）·数字对象标识代码：10.1063/5.0039986
[64] Metref，S。；Hannart，A。；Ruiz，J。；博奎特，M。；卡拉西。；Ghil，M.，《使用基于集合的数据同化与本地化估计模型证据——模型选择问题》，Q.J.R.Meteorol。Soc.，1451571-88（2019年）·doi:10.1002/qj.3513
[65] Naesseth，C。；林德曼，S。；Ranganath，R。；Blei，D.，变分序贯蒙特卡罗，第968-77页（2018年）
[66] Nguyen，D。；瓦拉，S。；Drumetz，L。；Fablet，R.，Em-like从噪声和部分观测中学习混沌动力学（2019）
[67] Palatella，L。；卡拉西。；Trevisan，A.，Lyapunov向量与不稳定子空间中的同化：理论与应用，J.Phys。A： 数学。理论。，46 (2013) ·Zbl 1351.37130号 ·doi:10.1088/1751-8113/46/25/254020
[68] O.帕帕斯皮利奥普洛斯。；Ruggiero，M.，最优滤波和对偶过程，伯努利，1999-2019（2014）·兹比尔1302.60071 ·文件编号：10.3150/13-BEJ548
[69] Paszke，A。；瓦拉赫，H。；拉罗谢尔，H。；Beygelzimer，A。；德阿尔切·布克，F。；福克斯，E。；Garnett，R.，《Pytorch:一种命令式、高性能的深度学习库》，第32卷，第8024-35页（2019年），Curran Associates，Inc
[70] Pulido，M。；Tandeo，P。；博奎特，M。；卡拉西。；Lucini，M.，使用集合卡尔曼滤波结合最大似然方法进行随机参数化识别，Tellus A，70，1-17（2018）·doi:10.1080/16000870.2018.1442099
[71] Rezende，D.J。；穆罕默德，S。；Wierstra，D.，深度生成模型中的随机反向传播和近似推断，第1278-86页（2014）
[72] 罗斯，M。；亨德比，G。；弗里奇，C。；Gustafsson，F.，《集合卡尔曼滤波器：信号处理的观点》，《欧洲放射防护学会高级信号处理杂志》。，2017, 1-16 (2017) ·doi:10.1186/s13634-017-0492-x
[73] Rubanova，Y。；陈仁堂。；Duvenaud，D.K.，不规则采样时间序列的潜在常微分方程，第32卷（2019年）
[74] 桑兹·阿隆索，D。；Stuart，A。；Taeb，A.，《反问题和数据同化》，第107卷（2023），剑桥大学出版社·Zbl 07704049号
[75] Sanz-Alonso，D。；Stuart，A.M.，部分观测混沌动力系统滤波分布的长期渐近性，SIAM/ASA J.不确定性。量化，31200-20（2015）·Zbl 1337.93094号 ·数字对象标识代码：10.1137/140997336
[76] 谢弗，H。；Tran，G。；Ward，R.，《从有限数据中提取稀疏高维动力学》，SIAM J.Appl。数学。，78, 3279-95 (2018) ·Zbl 1405.62127号 ·doi:10.1137/18M116798X
[77] Sivashinsky，G.，层流火焰中流体动力学不稳定性的非线性分析。基本方程的推导，Acta Astronaut。，4, 1177-206 (1977) ·Zbl 0427.76047号 ·doi:10.1016/0094-5765（77）90096-0
[78] 斯潘蒂尼，A。；比戈尼（D.Bigoni）。；Marzouk，Y.，《通过低维耦合进行推断》，J.Mach。学习。决议，19，2639-709（2018）·Zbl 1480.62114号
[79] 斯特劳德，J.R。；Bengtsson，T.，集合卡尔曼滤波器内的时序状态和方差估计，Mon。《天气评论》，135，3194-2008（2007）·doi:10.1175/MWR3460.1
[80] 斯特劳德，J.R。；Katzfuss，M。；Wikle，C.K.，用于序列状态和参数估计的贝叶斯自适应集合卡尔曼滤波器，Mon。《天气评论》，146373-86（2018）·doi:10.1175/MWR-D-16-0427.1
[81] 斯特劳德，J.R。；斯坦因，M.L。；Lesht，B.M。；施瓦布·D·J。；Beletsky，D.，用于卫星数据同化的集合卡尔曼滤波器和平滑器，美国统计协会，105，978-90（2010）·Zbl 1390.62329号 ·doi:10.1198/jasa.2010.ap07636
[82] Sutskever，I。；葡萄酒，O。；Le，Q.V.，《神经网络的序列到序列学习》，第27卷（2014年）
[83] Szunyogh，I。；Kostelich，E.J。；Gyarmati，G。；Kalnay，E。；亨特，B.R。；Ott，E。；Satterfield，E。；Yorke，J.A.，NCEP全球模型的局部集合变换卡尔曼滤波数据同化系统，Tellus A，60，113-30（2008）·doi:10.1111/j.1600-0870.2007.00274.x
[84] Tandeo，P。；Pulido，M。；Lott，F.，使用EnKF和最大似然误差协方差估计的离线参数估计：应用于亚网格尺度地形参数化，Q.J.R.Meteorol。Soc.，141383-95（2015年）·doi:10.1002/qj.2357
[85] 蒂佩特，M.K。；安德森，J.L。；Bishop，C.H。；哈米尔，T.M。；Whitaker，J.S.，《集成平方根滤波器》，孟买。《天气评论》，1311485-90（2003）·doi:10.1175/1520-0493（2003）1312.0.CO；2
[86] Tran，G。；Ward，R.，从高度损坏的数据中精确恢复混沌系统，多尺度模型。模拟。，15, 1108-29 (2017) ·doi:10.1137/16M1086637
[87] Trevisan，A。；迪西多罗，M。；Talagrand，O.，《不稳定子空间中的四维变分同化和最优子空间维数》，Q.J.R.Meteorol。《社会学杂志》，136487-96（2010）·doi:10.1002/qj.571
[88] 上野，G。；Nakamura，N.，基于集合的滤波器观测误差协方差矩阵最大似然估计的迭代算法，Q.J.R.Meteorol。《社会学杂志》，140295-315（2014）·doi:10.1002/qj.2134
[89] Wan，Z.Y。；Sapsis，T.P.，混沌动力系统数据驱动概率预测的缩减空间高斯过程回归，Physica D，345，40-55（2017）·Zbl 1380.37111号 ·doi:10.1016/j.physd.2016.12.005
[90] 魏国忠。；Tanner，M.A.，EM算法和穷人数据扩充算法的蒙特卡洛实现，J.Am.Stat.Assoc.，85699-704（1990）·网址：10.1080/01621459.1990.10474930
[91] Whitaker，J.S。；哈米尔，T.M。；魏，X。；Song，Y。；Toth，Z.，《利用NCEP全球预报系统进行集成数据同化》，周一。《天气评论》，136463-82（2008）·doi:10.1175/2007MWR2018.1
[92] Wikner，A。；Pathak，J。；亨特，B。；Girvan，M。；阿科曼诺，T。；Szunyogh，I。；Pomerance，A。；Ott，E.，将机器学习与基于知识的建模相结合，用于大型、复杂、时空系统的可扩展预测和子网格规模的闭合，Chaos，30（2020）·doi:10.1063/5.0005541
[93] 威廉姆斯，R.J。；Zipser，D.，基于梯度的递归学习算法，《反向传播：理论、架构和应用》，第433卷，第17页（1995），心理学出版社
[94] Woodbury，M.A.，《反演修正矩阵》（1950），统计研究小组
[95] Yang，L.M。；Grooms，I.，《构建拼接模拟信号群以进行数据同化的机器学习技术》，J.Compute。物理。，443 (2021) ·Zbl 07515431号 ·doi:10.1016/j.jcp.2021.110532
[96] Yu，Y。；Si，X。；胡，C。；张杰，《递归神经网络综述：LSTM细胞和网络结构》，神经计算。，31, 1235-70 (2019) ·Zbl 1494.68236号 ·doi:10.1162/necoa_01199
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。