马修·莱文（Matthew E.Levine）。；安德鲁·斯图尔特（Andrew M.Stuart）。 动态系统中模型误差的机器学习框架。 （英语） Zbl 07750994号 Commun公司。美国数学。Soc公司。 283-344（2022）. 摘要：动力系统数据信息预测模型的开发在许多学科中都有广泛的兴趣。我们提出了一个统一的框架，用于混合机械和机器学习方法，从噪声和部分观测数据中识别动力学系统。我们将纯数据驱动学习与包含不完善领域知识的混合模型进行了比较，将假设真值模型与不完善机制模型之间的差异称为模型误差。我们的公式与所选的机器学习模型无关，在连续时间和离散时间设置中都有，并且与表现出大量记忆的模型错误和无记忆的错误都兼容。首先，我们从学习理论的角度研究了无记忆线性（w.r.t.参数依赖）模型误差，定义了超额风险和泛化误差。对于遍历连续时间系统，我们证明了超额风险和泛化误差都有界于上述项，这些项随指定训练数据的时间间隔T的平方减小。其次，我们研究了受益于记忆建模的场景，证明了两类连续时间递归神经网络（RNN）的普遍逼近定理：假设模型误差由有限维隐藏变量控制，两者都可以学习记忆相关的模型误差，观测变量和隐藏变量构成了一个连续时间的马尔科夫系统。此外，我们将一类RNN与水库计算联系起来，从而将记忆相关误差的学习与最近使用随机特征在Banach空间之间进行监督学习的工作联系起来。给出了数值结果（Lorenz’63和Lorenz‘96多尺度系统），以比较纯数据驱动和混合方法，发现混合方法数据需求更少，参数效率更高。我们还发现，虽然连续时间帧允许对不规则采样的鲁棒性和理想的域解释性，但离散时间帧可以提供类似或更好的预测性能，特别是当数据采样不足且无法识别定义真正动态的向量场时。最后，我们用数字演示了如何利用数据同化从有噪声的部分观测数据中学习隐藏的动力学，并说明了用这种方法表示记忆以及训练这种模型的挑战。 引用于7文件 MSC公司： 65升05 常微分方程初值问题的数值方法 68立方英尺 知识表示 37A30型 遍历定理、谱理论、马尔可夫算子 37M10个 动力系统的时间序列分析 37米25 遍历理论的计算方法（不变测度的近似、Lyapunov指数的计算、熵等） 41A30型 其他特殊函数类的近似 关键词：动力系统；模型误差；统计学习；随机特征；循环神经网络；水库计算 软件：CRCP公司；贝叶斯优化；EikoNet公司；Statsmodels公司；GELUs公司；DeepONet（深度网络）；科学Py；亚当；蟒蛇；github PDF格式BibTeX公司 XML格式引用 \textit{M.E.Levine}和\textit{A.M.Stuart}，Commun。美国数学。Soc.2283--344（2022；Zbl 07750994） 全文： 内政部 arXiv公司 链接 参考文献： [1] Alexander，Romeo，Operator-用核心模拟技术预测非线性时间序列的理论框架，Phys。D、 132520，24页（2020年）·Zbl 1496.37085号 ·doi:10.1016/j.physd.2020.132520 [2] Ranjan Anantharaman、Yingbo Ma、Shashi Gowda、Chris Laughman、Viral Shah、Alan Edelman和Chris Rackauckas，使用连续时间回波状态网络加速刚性非线性系统的模拟，https://arxiv.org/abs/2010.04004v6, 2020. [3] Asch，Mark，《数据同化》，《算法基础》，xvi+306页（2016），宾夕法尼亚州费城工业与应用数学学会·Zbl 1361.93001号 ·数字对象标识代码：10.1137/1.9781611974546.pt1 [4] Ibrahim Ayed、Emmanuel de B\'ezenac、Arthur Pajot、Julien Brajard和Patrick Gallinari，从部分观测中学习动力系统，机器学习和物理科学第二次研讨会（NeurIPS 2019），加拿大温哥华，2019年2月·Zbl 07570161号 [5] Ba Yunhao、Zhao和Achuta Kadambi，将不同的物理先验与神经网络相融合，1910.002019年。 [6] Dzmitry Bahdanau、Kyunghyun Cho和Yoshua Bengio，联合学习对齐和翻译的神经机器翻译，1409.04732016。 [7] Bahsoun，Wael，Lorenz流的方差连续性，Ann.Henri Poincar，1873-1892（2020）·Zbl 1448.37007号 ·doi:10.1007/s00023-020-00913-5 [8] 兰德尔·D·。Beer，关于小型连续时间递归神经网络的动力学，Adapt。行为。3（1995），第4期，469-509，http://journals.sagepub.com/doi/101177/105971239500300405。 [9] Bensoussan，A.，周期结构的渐近分析，xii+398 pp.（2011），AMS Chelsea Publishing，Providence，RI·Zbl 1229.35001号 ·doi:10.1090/chel/374 [10] Jos’e Bento、Morteza Ibrahimi和Andrea Montanari，《学习随机微分方程的信息理论极限》，2011年IEEE信息理论会议论文集国际研讨会，IEEE，2011年，第855-859页。 [11] Tom Beucler，《在模拟物理系统的神经网络中实施分析约束》，Phys。修订稿。，论文编号：098302，第7页（2021）·doi:10.1103/physrevlett.126.098302 [12] Bhattacharya，Kaushik，参数PDE的模型简化和神经网络，SMAI J.计算。数学。，121-157 (2021) ·Zbl 1481.65260号 [13] Marc Bocquet、Julien Brajard、Alberto Carrassi和Laurent Bertino，通过合并数据同化、机器学习和期望最大化对混沌动力学进行贝叶斯推断，发现。数据科学。第2期（2020年），第1期，第55期，https://www.aimsciences.org/article/doi/10.3934/fods.200004。 [14] Borra，Francesco，《通过机器学习实现混沌多尺度系统的有效模型和可预测性》，Phys。E版，052203，11页（2020年）·doi:10.1103/physreve.102.052203 [15] Brajard，Julien，结合数据同化和机器学习，从稀疏和噪声观测模拟动力学模型：Lorenz 96模型的案例研究，J.Compute。科学。，101171，11页（2020年）·doi:10.1016/j.jocs.2020.101171 [16] Brajard，Julien，结合数据同化和机器学习推断未解决的尺度参数化，Philos。事务处理。罗伊。Soc.A，论文编号：20200086，16页（2021）·doi:10.1098/rsta.2020.0086 [17] Leo Breiman，Bagging预测者，马赫。学习。，24（1996），第2期，123-140·Zbl 0858.68080号 [18] N.D.公司。Brenowitz和C.S。Bretherton，神经网络统一物理参数化的预测验证，地球物理。Res.Lett公司。2018年，第45期，第12期，6289-6298页。https://agupubs.onlinelibrary.wiley.com/doi/abs/10.1029/2018GL078510。 [19] Brunton，Steven L.，通过非线性动力系统的稀疏识别从数据中发现控制方程，Proc。国家。阿卡德。科学。美国，3932-3937（2016）·Zbl 1355.94013号 ·doi:10.1073/pnas.1517384113 [20] Burov，Dmitry，核模拟预测：多尺度测试问题，多尺度模型。模拟。，1011-1040（2021）·Zbl 1487.60088号 ·doi:10.1137/20M1338289 [21] Champion，Kathleen，数据驱动的坐标和控制方程发现，Proc。国家。阿卡德。科学。美国，22445-22451（2019）·Zbl 1433.68396号 ·doi:10.1073/pnas.1906995116 [22] Bo Chang、Minmin Chen、Eldad Haber和Ed H。Chi，《反对称RNN：递归神经网络的动力学系统观点》，1902.096892019。 [23] Ashesh Chattopadhyay、Pedram Hassanzadeh和Devika Subramanian，使用机器学习方法对多尺度Lorenz 96混沌系统进行数据驱动预测：水库计算、人工神经网络和长短记忆网络，非线性过程。地球物理学。27（2020），第3期，373-389，https://npg.copernicus.org/articles/27/373/2020。 [24] Ashesh Chattopadhyay、Adam Subel和Pedram Hassanzadeh，《使用深度学习的数据驱动超参数化：多尺度Lorenz 96系统实验和转移学习》。J.高级模型。地球系统。12（2020），编号11，e2020 MS002084，https://agupubs.onlinelibrary.wiley.com/doi/abs/10.1029/2020MS002084。 ·Zbl 07527717号 [25] 陈一凡，用高斯过程求解和学习非线性偏微分方程，J.Compute。物理。，论文编号：110668，29页（2021）·Zbl 07516428号 ·doi:10.1016/j.jcp.2021.110668 [26] 陈玉明，自微分集合卡尔曼滤波器，SIAM J.Math。数据科学。，801-833 (2022) ·Zbl 1493.62499号 ·doi:10.1137/21M1434477 [27] Chkrebtii，Oksana A.，微分方程贝叶斯解不确定性量化，贝叶斯分析。，1239-1267 (2016) ·Zbl 1357.62108号 ·doi:10.1214/16-BA1017 [28] Kyunghyun Cho、Bart van Merrienboer、Dzmitry Bahdanau和Yoshua Bengio，《神经机器翻译的特性：编码器-解码器方法》，1409.12592014年。 [29] Kyunghyun Cho、Bart van Merrienboer、Caglar Gulcehre、Dzmitry Bahdanau、Fethi Bougares、Holger Schwenk和Yoshua Bengio，使用rnn编码器-解码器学习统计机器翻译短语表示，1406.10782014。 [30] 亚历山大·J。Chorin和Fei Lu，非线性动力学中随机参数化和降维的离散方法，Proc。国家。阿卡德。科学。112（2015），第32期，9804-9809，https://www.pnas.org/content/12/32/9804。 [31] Chorin，Alexandre J.，不可逆过程的最优预测和Mori-Zwanzig表示，Proc。国家。阿卡德。科学。美国，2968-2973（2000）·Zbl 0968.60036号 ·doi:10.1073/pnas.97.7.2968 [32] David Colton，《逆声和电磁散射理论》，应用数学科学，xiv+405 pp.（2013），纽约斯普林格·Zbl 1266.35121号 ·doi:10.1007/978-1-4614-4942-3 [33] Wahba，Grace，使用样条函数平滑噪声数据，Numer。数学。，383-393（1975年）·Zbl 0299.65008号 ·doi:10.1007/BF01437407 [34] Cybenko，G.，通过sigmoid函数的叠加进行逼近，数学。控制信号系统，303-314（1989）·Zbl 0679.94019号 ·doi:10.1007/BF02551274 [35] Eric Darve、Jose Solomon和Amirli Kia，计算广义Langevin方程和广义Fokker-Planck方程，Proc。国家。阿卡德。科学。106（2009），第27期，10884-10889。 [36] DeVore，Ronald A.，《构造逼近》，Grundlehren der mathematicschen Wissenschaften[数学科学基本原理]，x+449页（1993），施普林格出版社，柏林·Zbl 0797.41016号 [37] Jonathan Dong、Ruben Ohana、Mushegh Rafayelyan和Florent Krzakala，《水库计算满足循环内核和结构化转换》，2006.073102020年。 [38] Dormand，J.R.，嵌入式Runge-Kutta公式家族，J.Comput。申请。数学。，19-26 (1980) ·Zbl 0448.65045号 ·doi:10.1016/0771-050X（80）90013-3 [39] 杜强，《通过线性多步方法和深度学习发现动力学：误差估计》，SIAM J.Numer。分析。，2014-2045 (2022) ·Zbl 1506.65105号 ·数字对象标识码：10.1137/21M140691X [40] Duraisamy，Karthik，《流体力学年度回顾》。第51卷。数据时代的湍流建模，年。流体力学版次。，357-377（2019），《年度评论》，加利福尼亚州帕洛阿尔托·Zbl 1412.76040号 [41] E、 渭南，两层神经网络人口风险的先验估计，Commun。数学。科学。，1407-1425 (2019) ·Zbl 1427.68277号 ·doi:10.4310/CMS.2019.v17.n5.a11 [42] N.Benjamin Erichson、Omri Azencot、Alejandro Queiruga、Liam Hodgkinson和Michael W。Mahoney，Lipschitz递归神经网络，2006.1207020。 [43] Alban Farchi、Patrick Laloyaux、Massimo Bonavita和Marc Bocquet，《使用机器学习纠正数据同化和预测应用中的模型错误》，2010.126052021。 [44] Fatkullin，Ibrahim，《应用于Lorenz 96模型的多尺度系统的计算策略》，J.Compute。物理。，605-638 (2004) ·Zbl 1058.65065号 ·doi:10.1016/j.jcp.2004.04.013 [45] Freno，Brian A.，非线性方程参数化系统近似解的机器学习误差模型，计算。方法应用。机械。工程师，250-296（2019）·兹比尔1440.65058 ·doi:10.1016/j.cma.2019.01.024 [46] Roger Frigola、Yutian Chen和Carl Edward Rasmussen，变分高斯过程状态空间模型，高级神经信息。过程。系统27（2014），https://proceedings.neurips.cc/paper/2014/hash/139f0874f2ded2e41b0393c4ac5644f7-Abstract.html。 [47] Funahashi，Ken-ichi，第五届微分方程国际学术讨论会论文集，第2卷。近似理论、动力学系统和递归神经网络，51-58（1994），科学。邪教。Technol公司。公开。，新加坡·Zbl 0882.34051号 [48] 丹尼尔·J。Gauthier、Erik Boltt、Aaron Griffith和Wendson A.S。巴博萨，《下一代水库计算》，《国家通信》第12卷（2021年），第1期，5564页，ISSN 2041-1723。 [49] Gilani，Faheem，基于核的非马尔科夫时间序列预测，物理学。D、 第132829号文件，16页（2021）·Zbl 1490.62289号 ·doi:10.1016/j.physd.2020.132829 [50] R.Gonz’alez-Garc’ia、R.Rico-Mart’inez和I.G.Kevrekidis，分布参数系统的识别：基于神经网络的方法，计算。化学。工程22（1998），S965-S968，https://linkinghub.elsevier.com/retrieve/pii/S0098135498001914。 [51] Ian Goodfellow，《深度学习、自适应计算和机器学习》，xxii+775页（2016），麻省理工学院出版社，马萨诸塞州剑桥·Zbl 1373.68009号 [52] Gottwald，Georg A.，结合机器学习和数据同化从噪声部分观测预测动力系统，混沌，论文编号101103，8 pp.（2021）·doi:10.1063/5.0066080 [53] Georg A.Gottwald，《从噪声观测中监督学习：将机器学习技术与数据同化相结合》，《物理学》。D、 论文编号：132911，15页（2021）·Zbl 1508.68288号 ·doi:10.1016/j.physd.2021.132911 [54] Gouasmi，Ayoub，{\it使用Mori-Zwanzig形式主义对非线性系统降阶模型中记忆效应的先验估计，Proc。A.，20170385，24页（2017）·Zbl 1402.76065号 ·doi:10.1098/rspa.2017.0385 [55] 沃伊切赫·W·。Grabowski，使用云解析对流参数化（CRCP）将云过程与大规模动力学耦合，J.Atmos。科学。58（2001），第9期，978-997，https://journals.ametsoc.org/view/journals/atsc/58/9/1520-0469_2001_058_0978_ccpwtl_2.0.co.2.xml。 [56] Lyudmila Grigoryeva和Juan-Pablo Ortega，Echo国家网络通用，1806.007972018·Zbl 1434.68409号 [57] Grimmett，Geoffrey R.，概率与随机过程，xii+669 pp.（2020），牛津大学出版社，牛津·Zbl 1437.60004号 [58] Gupta，Abhinav，动力学系统的神经闭包模型，Proc。A.，第20201004号文件，29页（2021） [59] Haber，Eldad，深度神经网络的稳定架构，逆向问题，014004，22 pp.（2018）·Zbl 1426.68236号 ·doi:10.1088/1361-6420/aa9a90 [60] 弗兰兹·汉密尔顿（Franz Hamilton），阿伦·L·。Lloyd和Kevin B。Flores，动力系统的混合建模与预测，PLOS Comput。生物学13（2017），第7期，e1005655，https://journals.plos.org/ploscompbiol/article？id=10.1371/journal.pcbi.1005655。 [61] Hamzi，Boumedine，《从数据中学习动力系统：一个简单的交叉验证视角》，第一部分：参数化内核流，Phys。D、 论文编号：132817，10页（2021）·Zbl 1509.68217号 ·doi:10.1016/j.physd.2020.132817 [62] Harlim，John，具有缺失动力学的预测的机器学习，J.Comput。物理。，论文编号109922，22页（2021）·Zbl 07511409号 ·doi:10.1016/j.jcp.2020.109922 [63] Fabr\'icio P.公司。H“arter和Haroldo Fraga de Campos Velho，递归神经网络数据同化程序，《工程应用计算流体力学》6（2012），224-233，https://doi.org/10.1080/19942060.2012.11015417。 [64] 统计信号处理的新方向：从系统到大脑，神经信息处理系列，x+514页（2007），麻省理工学院出版社，马萨诸塞州剑桥·Zbl 1190.62183号 [65] Dan Hendrycks和Kevin Gimpel，高斯误差线性单位（gelus），https://arxiv.org/abs/1606.08415, 2016. [66] Carmen Hij’on、Pep Espa-nol、Eric Vanden-Eijnden和Rafael Delgado-Buscalioni，Mori-Zwanzig形式主义作为实用计算工具，法拉第讨论。144 (2010), 301-322. [67] Sepp Hochreiter和J“urgen-Schmidhuber。长短期记忆，神经计算。9（1997），1735-1780。 [68] Holland，Mark，Lorenz吸引子的中心极限定理和不变性原理，J.Lond。数学。Soc.（2），345-364（2007）·Zbl 1126.37006号 ·doi:10.1112/jlms/jdm060 [69] Herbert Jaeger，《分析和训练递归神经网络的“回声状态”方法——带勘误表》，德国国家信息技术研究中心GMD技术报告，德国波恩，2001年1月，第148页。 [70] 贾晓伟（Xiaowei Jia）、贾瑞德·威拉德（Jared Willard）、阿努杰·卡帕坦（Anuj Karpatne）、乔丹·S·。雅各布·A·里德。Zwart、Michael Steinbach和Vipin Kumar，《科学发现的物理引导机器学习：模拟湖泊温度曲线的应用》，ACM/IMS Trans。数据科学。2（2021年），第3期，20:1-20:26，https://doi.org/10.1145/3447814。 [71] 蒋世晓，《缺失动力系统建模：使用非参数框架推导参数模型》，《数学研究》。科学。，第16号文件，25页（2020）·兹比尔1447.37067 ·doi:10.1007/s40687-020-00217-4 [72] 卡迪丹·卡曼、尤里卡·凯泽、本杰明·斯特罗姆、J.内森·库茨和史蒂文·L。Brunton，从实验数据中学习差异模型，1909.085742019年。 [73] 卡迪丹·卡曼（Steven L.Kaheman）。Brunton和J.Nathan Kutz，《同时识别非线性动力学并从数据中提取噪声概率分布的自动微分》，马赫。学习。科学。Technol公司。3（2022），编号1，015031，https://doi.org/10.1088/2632-2153/ac567a。 ·Zbl 1473.93007号 [74] Kaipio，Jari，统计和计算逆问题，应用数学科学，xvi+339 pp.（2005），Springer-Verlag，纽约·兹比尔1068.65022 [75] J.Nagoor Kani和Ahmed H。Elsheikh，DR-RNN:用于模型简化的深度残差递归神经网络，1709.009392017。 [76] Kashinath，K.，《基于物理的机器学习：天气和气候建模案例研究》，Philos。事务处理。罗伊。Soc.A，第20200093号文件，36页（2021）·doi:10.1098/rsta.2020.093 [77] Keller，Rachael T.，《使用线性多步方法发现动力学》，SIAM J.Numer。分析。，429-455 (2021) ·Zbl 1466.65050号 ·doi:10.1137/19M130981X [78] Kemeth，Felix P.，通过流形学习初始化LSTM内部状态，混沌，论文编号093111，14页（2021）·数字对象标识代码：10.1063/5.0055371 [79] 马拉特·F。Khairoutdinov和David A。Randall，作为NCAR社区气候系统模型中云参数化的云解析模型：初步结果，Geophys。Res.Lett公司。28（2001），第18期，3617-3620，https://agupubs.onlinelibrary.wiley.com/doi/abs/10.1029/2001GL013552。 [80] 迪德里克·P。Kingma和Jimmy Ba，Adam：随机优化方法，第三届学习表征国际会议，ICLR 2015，美国加利福尼亚州圣地亚哥，5月7日至9日，会议记录，1412.6980，2015。 [81] Kocijan，Ju\v{s}，使用高斯过程模型对动态系统进行建模和控制，《工业控制进展》，xvi+267页（2016年），施普林格，查姆·Zbl 1339.93004号 ·doi:10.1007/978-3-319-21021-6 [82] Korda，Milan，Koopman算子的数据驱动光谱分析，Appl。计算。哈蒙。分析。，599-629 (2020) ·Zbl 1436.37093号 ·doi:10.1016/j.acha.2018.08.002 [83] K.Krischer，R.Rico-Mart’inez，I.G。Kevrekidis，H.H。Rotermund、G.Ertl和J.L。Hudson，时空变化催化反应的模型识别，AIChE J.39（1993），第1期，89-981993年1月，http://doi.wiley.com/10.1002/aic.690390110。 [84] Kullback，S.，《信息与充分性》，《数学年鉴》。统计，79-86（1951）·Zbl 0042.38403号 ·doi:10.1214/aoms/1177729694 [85] Kutoyants，Yury A.，遍历扩散过程的统计推断，Springer Series in Statistics，xiv+481 pp.（2004），Springer-Verlag London，Ltd.，伦敦·Zbl 1038.62073号 ·doi:10.1007/978-1-4471-3866-2 [86] Lagaris，I.E.，《散射理论和生物医学技术中的数学方法》。Pitman Res.Notes Math，一种硬件可实现的非线性方法，用于求解常微分方程、偏微分方程和积分微分方程。序列号。，110-126（1997），哈洛朗曼 [87] Law，Kody，部分观测Lorenz’63模型的3DVAR滤波器分析，离散Contin。动态。系统。，1061-1078 (2014) ·Zbl 1283.62194号 ·doi:10.3934/cds.2014.34.1061 [88] Law，Kody，《数据同化，应用数学文本》，xviii+242 pp.（2015），Springer，Cham·Zbl 1353.60002号 ·doi:10.1007/978-3-319-20325-6 [89] Lei Youming，Jian Hu，and Jianpeng Ding，基于深度LSTM的混合模型，用于预测高维混沌系统，2002.007992020。 [90] Zhen Li、Hee Sun Lee、Eric Darve和George Em Karniadakis，《计算分子系统中Mori-Zwanzig形式主义衍生的非马尔可夫粗粒相互作用：聚合物熔体的应用》，J.Chem。物理学。146，编号1，014104。 [91] Zhong Li，Jiequn Han，Weinan E，and Qianxiao Li，《递归神经网络中的记忆诅咒：近似与优化分析》，2009.077992020·Zbl 07625195号 [92] Li Zongyi、Nikola Kovachki、Kamyar Azizzadenesheli、Burigede Liu、Kaushik Bhattacharya、Andrew Stuart和Anima Anandkumar，参数偏微分方程的傅里叶神经算子，2010.08895、2021。 [93] Li Zongyi、Nikola Kovachki、Kamyar Azizzadenesheli、Burigede Liu、Kaushik Bhattacharya、Andrew Stuart和Anima Anandkumar，用于学习混沌系统的马尔可夫神经运算符，2106.068982021。 [94] Lin，Kevin K.，数据驱动模型简化，Wiener投影和Koopman-Mori-Zwanzig形式主义，J.Compute。物理。，论文编号109864，33页（2021）·Zbl 07508469号 ·doi:10.1016/j.jcp.2020.109864 [95] Ori Linial、Neta Ravid、Danny Eytan和Uri Shalit，已知未知的生成性ODE建模，健康、推理和学习会议论文集，CHIL’21，美国纽约州纽约市，计算机协会，2021年4月，第79-94页，https://doi.org/10.1145/3450439.3451866。 [96] E.Lorenz，《可预测性——部分解决的问题》，Proc。可预测性研讨会，英国雷丁，ECMWF，1996年。https://ci.nii.ac.jp/naid/10015392260/en/。 [97] Edward N.Lorenz，《确定性非周期流》，《大气科学杂志》。，130-141 (1963) ·Zbl 1417.37129号 ·数字对象标识代码：10.1175/1520-0469（1963）020$\langle [98] 罗伯特·J·。乔斯·洛夫利特。Avalos和Ioannis G。Kevrekidis，《部分观察和守恒定律：生物技术和光遗传学中的灰盒模型》，工业工程化学。第59号决议（2020），第6号，2611-2620，https://doi.org/10.1021/acs.iecr.9b04507。 [99] Lu，Fei，随机Burgers方程的数据驱动模型简化，熵，论文编号1360，22 pp.（2020）·doi:10.3390/e22121360 [100] Lu，Fei，亚椭圆系统连续和离散时间数据建模的比较，Commun。申请。数学。计算。科学。，187-216 (2016) ·doi:10.2140加元.2016.11.187 [101] Lu，Fei，Kuramoto-Sivashinsky方程基于数据的随机模型简化，Phys。D、 46-57（2017）·Zbl 1376.35100号 ·doi:10.1016/j.physd.2016.09.07 [102] Lu Lu，Pengzhan Jin，George Em Karniadakis，DeepONet：基于算子的普遍逼近定理学习非线性算子识别微分方程，1910.031932020。 [103] Lu，Zhixin，通过机器学习重构吸引子，Chaos，061104，9 pp.（2018）·doi:10.1063/1.5039508 [104] Mantas Lukosevicius和Herbert Jaeger，递归神经网络训练的水库计算方法，计算。科学。版本3（2009），编号3，127-1492009年8月，https://www.sciencedirect.com/science/article/pii/S1574013709000173。 ·Zbl 1302.68235号 [105] 马超，王建春，魏南E，动态系统的记忆模型简化和机器学习，Commun。计算。物理学。第25期（2019年）第4期，http://www.global-sci.com/intro/article_detail/cicp/12885.html。 ·Zbl 1473.35450号 [106] Romit Maulik、Bethany Lusch和Prasanna Balaprakash，用递归神经网络和卷积自动编码器对对流主导系统进行降阶建模，Phys。流体33（2021），编号3，037106，2021年3月，https://aip.scitation.org/doi/abs/10.1063/5.0039986。 [107] Kevin McGoff，某些动力系统最大似然估计的一致性，Ann.Statist。，1-29 (2015) ·Zbl 1319.37006号 ·doi:10.1214/14-AOS1259 [108] 孟晓丽，《EM算法》，一首旧民歌，以新快的曲调演唱，J.罗伊。统计师。Soc.序列号。B、 511-567（1997）·Zbl 1090.62518号 ·数字对象标识代码：10.1111/1467-9868.00082 [109] 安德鲁·C。尼古拉斯·米勒。Foti和Emily Fox，《野外胰岛素-葡萄糖动力学研究》，2008.28522020年。 [110] 安德鲁·C。尼古拉斯·米勒。Foti和Emily B。福克斯，布雷曼的两种文化：你不必选择哪一方，2104.12219201。 [111] Mockus，Jonas，全球优化的贝叶斯方法，数学及其应用（苏联系列），xiv+254 pp.（1989），Kluwer学术出版集团，Dordrecht·Zbl 0693.49001号 ·doi:10.1007/978-94-009-0909-0 [112] Kumpati S.公司。Narendra和Kannan Parthasarathy，神经网络和动力系统，国际。J.近似原因。6（1992），第2期，109-131，https://www.sciencedirect.com/science/article/pii/088613X9290014Q。 ·Zbl 0767.93035号 [113] Nelsen，Nicholas H.，Banach空间之间输入-输出映射的随机特征模型，SIAM J.Sci。计算。，A3212-A3243（2021）·兹伯利07398767 ·数字对象标识码：10.1137/20M133957X [114] Duong Nguyen、Said Ouala、Lucas Drumetz和Ronan Fablet，从噪声和部分观测中学习EM-like混沌动力学，1903.103352019年。 [115] Murphy Yuezhen Niu、Lior Horesh和Isaac Chuang，微分方程眼中的递归神经网络，1904.129332019。 [116] Fernando Nogueira，《贝叶斯优化：Python的开源约束全局优化工具》，2014年。https://github.com/fmfn/Baysian优化。 [117] 保罗A。O'Gorman和John G。Dwyer，《使用机器学习参数化湿对流：气候、气候变化和极端事件建模的潜力》，J.Adv.Model。地球系统。10（2018），编号10，2548-2563，https://agupubs.onlinelibrary.wiley.com/doi/abs/10.1029/2018MS001351。 [118] Ouala，S.，学习部分观测到的混沌系统的潜在动力学，混沌，103121，17页（2020）·Zbl 1456.37099号 ·doi:10.1063/5.0019309 [119] Eric J.Parish，《基于Mori-Zwanzig形式主义的大涡模拟动态亚网格模型》，J.Compute。物理。，154-175 (2017) ·Zbl 1380.76024号 ·doi:10.1016/j.jcp.2017.07.053 [120] Jaideep Pathak、Brian Hunt、Michelle Girvan、Zhixin Lu和Edward Ott，基于数据的大型时空混沌系统的无模型预测：水库计算方法，物理。修订稿。120（2018），编号2，024102，https://link.aps.org/doi/10.103/PhysRevLett.120.024102。 ·兹比尔1390.37138 [121] Pathak，Jaideep，《混沌过程的混合预测：结合基于知识的模型使用机器学习》，混沌，041101，9页（2018）·doi:10.1063/1.5028373 [122] Pavliotis，Grigorios A.，多尺度方法，应用数学文本，xviii+307页（2008），纽约斯普林格·Zbl 1160.35006号 [123] Plumlee，Matthew，不精确计算机模型的贝叶斯校准，J.Amer。统计师。协会，1274-1285（2017）·doi:10.1080/01621459.2016.1211016 [124] Plumlee，Matthew，正交高斯过程模型，统计师。Sinica，601-619（2018）·Zbl 1390.62047号 [125] Manuel Pulido、Pierre Tandeo、Marc Bocquet、Alberto Carrassi和Magdalena Lucini，使用集合卡尔曼滤波和最大似然方法的随机参数化识别，Tellus A Dyn。气象海洋学家。70（2018），第1期，第1-17页。 [126] Ryan Pyle，Domain-driven模型比Philos Lorenz系统中的水库计算机以更低的成本产生更好的预测。事务处理。罗伊。Soc.A，论文编号：20200246，22页（2021）·doi:10.1103/physrevlett.120.024102 [127] 钱兆之（William R.Qian）。卢卡斯·M·扎姆。Fleuren、Paul Elbers和Mihaela van der Schaar，将专家ODE整合到神经ODE中：药理学和疾病进展，2106.028752021。 [128] 亚历杭德罗·F·。奎鲁加、N.本杰明·埃里克森、戴恩·泰勒和迈克尔·W。马奥尼，连续深度神经网络，2008.23892020。 [129] 克里斯托弗·拉卡卡斯（Christopher Rackauckas）、马英波（Yingbo Ma）、朱利叶斯·马滕森（Julius Martensen）、科林·沃纳（Collin Warner）、基里尔·祖波夫（Kirill Zubov）、罗希特·苏佩卡（Rohit Supekar）、多米尼克·斯金纳（Dominic Skinner）、阿里·拉马丹（Ali Rama。 [130] Christopher Rackauckas、Roshan Sharma和Bernt Lie，实验室直升机的混合机械+神经模型，第264-271页，2021年3月，第264-271页，https://ep.liu.se/en/conference-article.aspx？series=ecp&issue=176&article_No=37。 [131] Ali Rahimi和Benjamin Recht，大型内核机器的随机特性，高级神经信息。过程。系统。20（2008年），Curran Associates，Inc。，https://proceedings.neurips.cc/paper/2007/file/013a006f03dbc5392effeb8f18fda755-paper.pdf。 [132] Ali Rahimi和Benjamin Recht，随机基函数的统一逼近，2008年第46届Allerton通信、控制和计算年会，IEEE，2008年，第555-561页。 [133] Ali Rahimi和Benjamin Recht，《随机厨房水槽的加权和：用随机学习代替最小化》，Nips，Citeser，2008年，第1313-1320页。 [134] Raissi，M.，《物理信息神经网络：用于解决涉及非线性偏微分方程的正向和反向问题的深度学习框架》，J.Compute。物理。，686-707 (2019) ·Zbl 1415.68175号 ·doi:10.1016/j.jcp.2018.10.045 [135] Raissi，M.，《物理信息神经网络：用于解决涉及非线性偏微分方程的正向和反向问题的深度学习框架》，J.Compute。物理。，686-707 (2019) ·Zbl 1415.68175号 ·doi:10.1016/j.jcp.2018.10.045 [136] Rasmussen，Carl Edward，机器学习的高斯过程，自适应计算和机器学习，xviii+248页（2006），麻省理工学院出版社，剑桥·Zbl 1177.68165号 [137] Stephan Rasp，Michael S。普里查德（Pritchard）和皮埃尔·杰廷（Pierre Gentine），《深入学习在气候模型中表示亚网格过程》，Proc。国家。阿卡德。科学。美国115（2018），编号39，9684-9689，https://www.pnas.org/content/115/39/9684。 [138] Reich，Sebastian，概率预测和贝叶斯数据同化，x+297页（2015），剑桥大学出版社，纽约·Zbl 1314.62005年 ·doi:10.1017/CBO9781107706804 [139] R.Rico-Martines，I.G。凯夫雷基迪斯，M.C。Kube和J.L。Hudson，离散与连续时间非线性信号处理：吸引子、跃迁和并行实现问题，1993年美国控制会议，1993年6月，第1475-1479页，加利福尼亚州旧金山，美国，IEEE，ISBN 978-0-7803-0860-2，https://ieeexplore.ieee.org/document/4793116/。 [140] R.Rico-Mart’inez、K.Krischer、I.G.Kevrekidis、M.C.Kube和J.L.Hudson。铜电解溶解数据的离散与连续非线性信号处理，化学工程通讯，118（1）：25-481992年11月。https://www.tandfonline.com/doi/full/10.1080/00986449208936084。 [141] R.Rico-Martinez、J.S.Anderson和I.G.Kevrekidis，连续时间非线性信号处理：基于神经网络的灰盒识别方法，IEEE信号处理神经网络研讨会论文集，希腊埃米奥尼，IEEE，1994年，第596-605页。国际标准图书编号978-0-7803-2026-0，http://ieeexplore.ieee.org/document/366006/。 [142] 尤利娅·鲁巴诺娃（Yulia Rubanova），Ricky T.Q。Chen和David Duvenaud，不规则采样时间序列的潜在ODE，1907.039072019。 [143] 大卫·E·。杰弗里·鲁梅尔哈特（Geoffrey E.Rumelhart）。辛顿和罗纳德·J。威廉姆斯，通过反向传播错误学习表征，《自然》323（1986），第6088533-536号·Zbl 1369.68284号 [144] Matteo Saveriano、Yuchao Yin、Pietro Falco和Dongheui Lee，使用残差动力学学习的数据高效控制策略搜索，2017年IEEE/RSJ智能机器人与系统国际会议（IROS），2017年9月，第4709-4715页，ISSN 2153-0866 [145] Hayden Schaeffer、Giang Tran和Rachel Ward，《通过群稀疏性学习动力系统和分岔》，预印本，1709.015582017年。 [146] Schaeffer，Hayden，从有限数据中提取稀疏的高维动力学，SIAM J.Appl。数学。，3279-3295 (2018) ·Zbl 1405.62127号 ·doi:10.1137/18M116798X [147] Schaeffer，Hayden，《使用极少量样本的稀疏优化提取结构化动力系统》，多尺度模型。模拟。，1435-1461 (2020) ·Zbl 1528.65035号 ·doi:10.1137/18M1194730 [148] Anton Maximilian Sch“afer和Hans-Georg Zimmermann，递归神经网络是通用逼近器，《国际神经系统杂志》17，第4期，253-2632007。 [149] 罗伯特·E·。夏皮雷，弱可学习性的力量，马赫。学习。5（1990），第2期，197-227·Zbl 0747.68058号 [150] Schneider，Tapio，使用集合卡尔曼反演学习随机闭包，Trans。数学。申请。，论文编号tnab003，31页（2021）·Zbl 1478.60129号 ·doi:10.1093/imatrm/tnab003 [151] Skipper Seabold和Josef Perktold，《统计模型：用蟒蛇进行经济计量和统计建模》，第九届科学会议，2010年。 [152] Alex Sherstinsky，《递归神经网络（RNN）和长短期记忆（LSTM）网络基础》，Phys。D、 132306，28页（2020年）·Zbl 1508.68298号 ·doi:10.1016/j.physd.2019.132306 [153] 史冠亚（Guanya Shi）、史西晨（Xichen Shi），迈克尔·奥康奈尔（Michael O'Connell），于罗斯（Rose Yu），卡米亚尔·阿齐扎德涅谢利（Kamyar Azizzadenesheli），阿南德库玛（Anamishere Anandkumar），岳一松（Yue）和钟顺珠（Soon Jo Chung），《神经着陆器：使用。 [154] 乔纳森·D。Smith、Kamyar Azizzadenesheli和Zachary E。Ross，EikoNet：用深度神经网络求解eikonal方程，IEEE地球科学与遥感汇刊，2020年，第1-12页。 [155] 彼得·D·。Sottile、David Albers、Peter E。德维特，塞斯·罗素，J.N。大卫·P·斯特劳。Kao、Bonnie Adrian、Matthew E。莱文（Levine）、瑞安·穆尼（Ryan Mooney）、莱尼·拉奇克（Lenny Larchick）、让·S。马修·库特纳。杰弗里·怀尼亚。Glasheen和Tellen D。Bennett，《新冠肺炎大流行期间实时电子健康记录死亡率预测：前瞻性队列研究》，medRxiv，冷泉港实验室出版社，2021年1月，第2021.01.14.21249793页，https://www.medxiv.org/content/10.1101/2021.01.14.21249793v1.（网址：https://www.medxiv.org/content/10.1101/2021.01.14.21249793v1.）。 [156] 苏兰轩（Langxuan Su）和沙彦·穆克吉（Sayan Mukherjee），动力系统后验一致性的大偏差方法，2106.068942021。 [157] Floris Takes，《动力系统和湍流》，沃里克1980年（考文垂，1979/1980）。检测湍流中的奇怪吸引子，数学课堂讲稿。，366-381（1981），施普林格，柏林-纽约·Zbl 0513.58032号 [158] 谭志宏，Colleen M。Kyle G.考尔。Pressel、Yair Cohen、Tapio Schneider和Jo \~ao Teixeira，用于统一表示次脊尺度湍流和对流的扩展涡流扩散质量流方案，J.Adv.模型。地球系统。10（2010），第3期，770-800。 [159] Tran，Giang，从高度损坏的数据中精确恢复混沌系统，多尺度模型。模拟。，1108-1129 (2017) ·doi:10.1137/16M1086637 [160] Tu，Jonathan H.，《关于动态模式分解：理论和应用》，J.Compute。动态。，391-421 (2014) ·Zbl 1346.37064号 ·doi:10.3934/jcd.2014.1.391 [161] Vanden-Eijnden，Eric，《具有随机效应的多尺度动力系统的数值技术》，Commun。数学。科学。，385-391 (2003) ·Zbl 1088.60060号 [162] Vapnik，Vladimir N.，《统计学习理论的本质》，xvi+188 pp.（1995），纽约斯普林格·弗拉格出版社·Zbl 0833.62008号 ·doi:10.1007/978-1-4757-2440-0 [163] Pauli Virtanen、Ralf Gommers和Travis E。奥列芬特、马特·哈伯兰、泰勒·雷迪、大卫·库纳波、叶夫根·布洛夫斯基、佩鲁·彼得森、沃伦·威克塞、乔纳森·布赖特、圣埃凡·J。范德沃尔特、马修·布雷特、约书亚·威尔逊、K.贾罗德·米尔曼、尼古拉·马约洛夫、安德鲁·R.J。Nelson、Eric Jones、Robert Kern、Eric Larson、C.J。凯里、伊尔汗·波拉特、于峰、埃里克·W。摩尔、杰克·范德普拉斯、丹尼斯·拉萨尔德、约瑟夫·佩克托尔德、罗伯特·西姆曼、伊恩·亨利克森，E.A。查尔斯·金特罗。安妮·M·哈里斯。Antonio H·阿奇博尔德。Ribeiro、Fabian Pedregosa和Paul van Mulbregt，《SciPy 1.0：Python中科学计算的基本算法》，《自然方法》17（2020），第3期，261-272，https://www.nature.com/articles/s41592-019-0686-2。 [164] P.R.Vlachas、J.Pathak、B.R.Hunt、T.P.Sapsis、M.Girvan、E.Ott和P.Koumoutsakos，复杂时空动力学预测递归神经网络中的反向传播算法和水库计算，神经网络。126 (2020), 191-217, https://linkinghub.elsevier.com/retrieve/pii/S0893608020300708。 [165] Jack Wang、Aaron Hertzmann和David J。机队，高斯过程动力学模型，高级神经信息。过程。系统。18 (2005), https://papers.nips.cc/paper/2005/hash/ccd45007df44dd0f12098f486e7e8a0f-Abstract.html。 [166] Wang，Qian，基于Mori-Zwanzig形式主义的参数POD-Galerkin降阶模型的递归神经网络闭包，J.Compute。物理。，109402，32页（2020年）·Zbl 1436.65093号 ·doi:10.1016/j.jcp.2020.109402 [167] 彼得·A·G。Watson，《使用经验误差修正应用机器学习改进混沌动力学系统的模拟》，1904.109042019年。 [168] 亚历山大·威克纳（Alexander Wikner），《将机器学习与基于知识的建模相结合，用于大型复杂时空系统的可伸缩预测和次脊尺度闭合》，混沌，053111，16页（2020）·数字对象标识代码：10.1063/5.000541 [169] 贾瑞德·威拉德（Jared Willard）、贾晓伟（Xiaowei Jia）、徐绍明（Shaoming Xu）、迈克尔·斯坦巴赫（Michael Steinbach）和维平·库马尔（Vipin Kumar），《将科学知识与工程和环境系统的机器学习相结合》，2003.049192021。 [170] J.A.Wilson和L.F.M.Zorzetto，使用混合人工神经网络/机械模型进行过程状态估计的通用方法，计算。化学。《工程21》（1997），第9期，951-963，http://linkinghub.elsevier.com/retrieve/pii/S0098135496003365。 [171] 阿尔曼德·维金（Armand Wirgin），《反犯罪》（The inverse crime），math-ph/0401050，2004年·Zbl 0478.76023号 [172] 大卫·H·。沃尔伯特，叠加泛化，神经网络。5（1992），第2期，241-259，https://www.sciencedirect.com/science/article/pii/S0893608005800231。 [173] Wan，Zhong Yi，《湍流中的气泡：具有历史术语的数据驱动运动学模型》，国际期刊Multiph。流动，103286，11页（2020）·doi:10.1016/j.ij多阶段流.2020.103286 [174] 尹，袁，用深层网络增强物理模型进行复杂动力学预测，J.Stat.Mech。理论实验，第124012号论文，30页（2021）·Zbl 07451722号 ·doi:10.1088/1742-5468/ac3ae5 [175] He Zhang，John Harlim，Xiantao Li，使用正交多项式估计线性响应统计量：RKHS公式，Found。数据科学。2（2020），第4期，443-485，http://aimsciences.org/article/doi/10.3934/fods.2020021。 [176] Zhang，He，遍历It-o扩散机器学习中不变统计量的误差界，Phys。D、 论文编号：133022，28页（2021）·Zbl 1482.60108号 ·doi:10.1016/j.physd.201.133022 [177] 朱健（Jian Zhu）和卡马奇（Masafumi Kamachi），不完全模型数据同化的自适应变分方法，Tellus A Dyn。气象海洋学家。52，（2000），第3期，265-279，https://doi.org/10.3402/tellusa.v52i3.12265。 [178] 朱元然，关于Mori-Zwanzig记忆积分的估计，J.Math。物理。，103501，39页（2018）·兹比尔1402.60044 ·数字对象标识代码：10.1063/1.5003467 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。