潘泰利斯·R·弗拉查斯。;元敏Byeon;Wan，Zhong Y.（万钟毅）。;Sapsis，Themistoklis P。;彼得罗·库穆塔科斯 具有长短期记忆网络的高维混沌系统的数据驱动预测。 （英语） Zbl 1402.92030 程序。英国皇家学会。，A、 数学。物理学。工程科学。 474，No.2213，文章ID 20170844，20 p.（2018）. 摘要：我们介绍了一种使用长短期记忆（LSTM）递归神经网络对高维混沌系统进行数据驱动预测的方法。所提出的LSTM神经网络在其降阶空间中对高维动力系统进行推理，并被证明是其吸引子的有效非线性逼近器集。我们展示了LSTM的预测性能，并将其与Lorenz 96系统、Kuramoto-Sivashinsky方程和原型气候模型获得的时间序列中的高斯过程（GPs）进行了比较。在所有考虑的应用中，LSTM网络在短期预测精度方面都优于GP。提出了一种混合结构，用平均随机模型（MSM-LSTM）扩展LSTM，以确保收敛到不变测度。这种新的混合方法完全由数据驱动，扩展了LSTM网络的预测能力。 引用于59文件 MSC公司： 92秒20 生物研究、人工生命和相关主题中的神经网络 62H30型 分类和区分；聚类分析（统计方面） 86A32型 地理统计学 关键词：数据驱动预测;长短期记忆;高斯过程;T21正压气候模式;Lorenz洛伦兹96 软件：埃沃利诺;亚当;GNMT公司 PDF格式BibTeX公司 XML格式引用 \textit{P.R.Vlachas}等人，Proc。英国皇家学会。，A、 数学。物理学。工程科学。474，No.2213，Article ID 20170844，20 p.（2018；Zbl 1402.92030） 全文： 内政部 arXiv公司 参考文献： [1] Rowley，CW，流体模型简化，使用平衡本征正交分解，国际分岔混沌，1997-1013，（2005）·兹比尔1140.76443 ·doi:10.1142/S0218127405012429 [2] 密苏里州威廉姆斯；Kevrekidis，IG；罗利，CW，《Koopman算子的数据驱动近似：扩展动态模式分解》，《非线性科学杂志》。，25, 1307-1346, (2015) ·Zbl 1329.65310号 ·doi:10.1007/s00332-015-9258-5 [3] 涂，JH；罗利，CW；Luchtenburg，DM；布鲁顿，SL；库茨，JN，《关于动态模式分解：理论和应用》，J.Compute。动态。，1, 391-421, (2014) ·Zbl 1346.37064号 ·doi:10.3934/jcd.2014.1.391 [4] JN库茨；Fu，X。；Brunton，SL，多分辨率动态模式分解，SIAM。J.应用。动态。系统。，15, 713-735, (2016) ·Zbl 1338.37121号 ·数字对象标识代码：10.1137/15M1023543 [5] 阿巴比，H。；Mezic，I.，遍历理论，动态模式分解和Koopman算子谱特性的计算，SIAM。J.应用。动态。系统。，16, 2096-2126, (2017) ·Zbl 1381.37096号 ·doi:10.1137/17M1125236 [6] 克申，G。；戈林瓦尔，JC；瓦卡基斯，AF；Bergman，LA，《机械系统动力学表征和降阶的固有正交分解方法：概述》，非线性。动态。，41, 147-169, (2005) ·Zbl 1103.70011号 ·doi:10.1007/s11071-005-2803-2 [7] 皂甙，TP；Majda，AJ，湍流动力系统不确定性量化的统计准确低阶模型，Proc。美国国家科学院。科学。美国，110，13 705-13 710, (2013) ·Zbl 1292.62133号 ·doi:10.1073/pnas.1313065110 [8] Krischer，K。；Rico-Martínez，R。；Kevrekidis，IG；罗特蒙德，HH；Ertl，G。；Hudson，JL，时空变化催化反应的模型识别，AIChE J.，39，89-98，（1992）·doi:10.1002/aic.690390110 [9] 米兰，M。；Koumoutsakos，P.，近壁湍流的神经网络建模，J.Compute。物理。，182, 1-26, (2002) ·Zbl 1090.76535号 ·文件编号：10.1006/jcph.2002.7146 [10] 布鲁顿，SL；普克托，JL；Kutz，JN，通过非线性动力系统的稀疏识别从数据中发现控制方程，Proc。美国国家科学院。科学。美国，113，3932-3937，（2016）·Zbl 1355.94013号 ·doi:10.1073/pnas.1517384113 [11] Duriez，T。；布鲁顿，SL；Noack，BR，（机器学习控制：驯服非线性动力学和湍流），（2016），Springer [12] AJ Majda；Lee，Y.，湍流概念动力学模型，Proc。美国国家科学院。科学。美国，1116548-6553，（2014）·Zbl 1355.76025号 ·doi:10.1073/pnas.1404914111 [13] Schaeffer，H.，通过数据发现和稀疏优化学习偏微分方程，Proc。R.Soc.A，47320160446，（2017）·Zbl 1404.35397号 ·doi:10.1098/rspa.2016.0446 [14] Farazmand，M。；Sapsis，TP，预测高维系统中爆发现象的动力学指标，Phys。E版，94032212，（2016）·doi:10.1103/PhysRevE.94.032212 [15] 邦加德，J。；Lipson，H.，《非线性动力系统的自动逆向工程》，Proc。美国国家科学院。科学。美国，104，9943-9948，（2007）·Zbl 1155.37044号 ·doi:10.1073/pnas.0609476104 [16] 佐治亚州埃尼克；怀特，LB，鲁棒扩展卡尔曼滤波，IEEE Trans。信号处理。，47, 2596-2599, (1999) ·Zbl 1006.93588号 ·doi:10.1109/78.782219 [17] 朱利尔，SJ；Uhlmann，JK，卡尔曼滤波器对非线性系统的新扩展，Proc。SPIE，3068182-193，（1997）·数字对象标识代码：10.1117/12.280797 [18] Lee，Y。；Majda，AJ，使用聚类粒子滤波器进行状态估计和预测，Proc。美国国家科学院。科学。美国，113，14 609-14 614, (2016) ·Zbl 1407.62341号 ·doi:10.1073/pnas.1617398113 [19] 科莫，D。；赵，Z。；Giannakis，D。；Majda，AJ，《北太平洋气候变化低频模式的数据驱动预测策略》，Clim。动态。，1855-1872年（2017年）·doi:10.1007/s00382-016-3177-5 [20] Tatsis，K。；Dertimanis，V。；阿卜杜拉一世。；Chatzi，E.，《使用仅输出测量对风力涡轮机支撑结构进行疲劳评估的子结构方法》，Procedia Engineering，1991044-1049，（2017）·doi:10.1016/j.proeng.2017.09.285 [21] 奎德，M。；阿贝尔，M。；沙菲，K。；尼文，RK；诺克，BR，通过符号回归预测动力系统，物理学。版本E.，94，012214，（2016）·doi:10.1103/PhysRevE.94.012214 [22] 米尔莫米尼，M。；卢卡斯，C。；Moshiri，B。；Araabi，NB，将自适应神经模糊建模与在线学习方法相结合，用于预测时变太阳和地磁活动指数，专家系统。申请。，37, 8267-8277, (2010) ·doi:10.1016/j.eswa.2010.05.059 [23] Gholipour，A。；卢卡斯，C。；新墨西哥州阿拉比；米尔莫米尼，M。；Shafie，M.，《为长期神经模糊预测提取自然时间序列的主要模式》，神经计算。申请。，16, 383-393, (2007) ·doi:10.1007/s00521-006-0062-x [24] 米尔莫米尼，M。；卢卡斯，C。；新墨西哥州阿拉比；Moshiri，B。；Bidar，MR，基于特征向量矩阵扰动的在线应用自然时间序列递归谱分析，IET信号处理。，5, 512-526, (2011) ·doi:10.1049/iet-spr.2009.0278 [25] 米尔莫米尼，M。；卢卡斯，C。；新墨西哥州阿拉比；Moshiri，B。；Bidar，MR，通过自适应神经模糊建模和递归谱分析对时变太阳和地磁活动指数进行在线多步预测，Sol。物理。，272, 189-213, (2011) ·数字对象标识代码：10.1007/s11207-011-9810-x [26] 马奎斯，CAF；费雷拉，JA；罗查，A。；卡斯坦海拉，JM；Melo-Goncalves，P。；瓦兹，N。；Dias，JM，水文时间序列的奇异谱分析和预测，Phys。化学。接地，A/B/C部分，311172-1179，（2006）·doi:10.1016/j.pce.2006年02月02日 [27] 阿卜杜拉·扎德，M。；米拉尼安，A。；哈萨尼，H。；Iranmanesh，H.，基于优化奇异谱分析的新型混合增强局部线性神经模糊模型及其在非线性和混沌时间序列预测中的应用，Inf.Sci。（纽约），295，107-125，（2015）·doi:10.1016/j.ins.2014.09.002 [28] Ye，L。；Liu，P.，基于EMD-SVM的短期风电预测组合模型，Commun。非线性科学数字。模拟。，31, 102-108, (2011) [29] 堂兄弟，W。；Sapsis，TP，一维非线性色散波模型中极端事件的量化和预测，Phys。D、 280-281，48-58，（2014）·Zbl 1349.35050号 ·doi:10.1016/j.physd.2014.04.012 [30] 堂兄弟，W。；Sapsis，TP，单向非线性水波罕见事件的降阶前兆，J.流体力学。，790, 368-388, (2016) ·Zbl 1382.76030号 ·文件编号：10.1017/jfm.2016.13.368 [31] Lorenz，EN，《自然发生类似物揭示的大气可预测性》，J.Atmos。科学。，26, 636-646, (1969) ·doi:10.1175/1520-0469（1969）26<636:APARBN>2.0.CO；2 [32] 哈维尔，PK；Goswami，BN，一种实时预测夏季季风亚季节变化的模拟方法，周一。《天气评论》，135，4149-4160，（2007）·doi:10.1175/2007MWR1854.1 [33] 赵，Z。；Giannakis，D.，用动态自适应核进行模拟预测，非线性，292888-2939，（2016）·Zbl 1365.37062号 ·doi:10.1088/0951-7715/29/9/2888 [34] Chiavazzo，E。；齿轮，顺时针；德西尔瓦，CJ；拉宾，N。；Kevrekidis，IG，通过非线性数据挖掘简化化学动力学模型，过程，2112-140，（2014）·doi:10.3390/pr2010112 [35] 万，ZY；Sapsis，TP，混沌动力系统数据驱动概率预测的简化空间高斯过程回归，Phys。D： 非线性现象。，345, 45-55, (2017) ·Zbl 1380.37111号 ·doi:10.1016/j.physd.2016.12.005 [36] 拉斯穆森，CE；Williams，CKI，（机器学习的高斯过程），（2006），麻省理工学院出版社·Zbl 1177.68165号 [37] Hochreiter，S。；Schmidhuber，J.，《长期短期记忆》，神经科学。计算。，9, 1735-1780, (1997) ·doi:10.1162/neco.1997.9.8.1735 [38] Gers，FA；埃克·D。；Schmidhuber，J.，通过时间窗方法将LSTM应用于可预测的时间序列。《人工神经网络国际会议程序》，ICANN’01维也纳，8月21日至25日）（编辑G Dorffner，H Bischof，K Hornik），第669-676页。计算机科学讲义，第2130卷。纽约州纽约市：斯普林格出版社，（2001）·Zbl 1005.68945号 [39] Rico-Martínez，R。；克里舍，K。；Kevrekidis，IG；MC库贝；Hudson，JL，铜电溶数据的离散与连续非线性信号处理，化学。工程通信。，118, 25-48, (1992) ·网址：10.1080/00986449208936084 [40] Jaeger，M。；Haas，H.，《利用非线性：预测混沌系统和无线通信节能》，《科学》，304，78-80，（2004）·doi:10.1126/science.1091277 [41] 查茨，SP；Demiris，Y.，回波态高斯过程，IEEE Trans。神经网络。，22, 1435-1445, (2011) ·doi:10.1109/TNN.2011.2162109 [42] 扫帚头，DS；Lowe，D.，多变量函数插值和自适应网络，复杂系统。，2, 321-355, (1988) ·Zbl 0657.68085号 ·doi:10.4236/jbise.2013.65A003 [43] Kim，KB；公园，JB；Choi，云南省；Chen，G.，使用径向基函数网络逼近器控制混沌动力系统，信息科学。，130, 165-183, (2000) ·Zbl 0981.93512号 ·doi:10.1016/S0020-0255（00）00074-8 [44] Pathak，J。；亨特，BR；Girvan，M。；卢，Z。；Ott，E.，根据数据对大型时空混沌系统进行无模型预测：储层计算方法，Phys。修订稿。，120, 024102, (2018) ·doi:10.1103/PhysRevLett.120.024102 [45] Pathak，J。；卢，Z。；亨特，BR；Girvan，M。；Ott，E.，使用机器学习复制混沌吸引子并从数据中计算Lyapunov指数，混沌。，27, 121102, (2017) ·Zbl 1390.37138号 ·doi:10.1063/1.5010300 [46] Takes，F.，在湍流中检测奇怪吸引子。《动力系统与湍流》，英国沃里克，1980年），第366-381页。数学课堂讲稿，第898卷。德国柏林：施普林格（1981）·Zbl 0513.58032号 [47] Hochreiter，J.，Untersuchungen zu dynamicschen neuronalen Netzen。蒙城理工大学信息研究所硕士论文（1991年） [48] Y.本吉奥。；Simard，P。；Frasconi，P.，《长期短期记忆》，IEEE Trans。神经网络。，5, 157-166, (1994) ·doi:10.1109/72.279181 [49] Wierstra，D。；施密杜贝尔，J。；Gomez，FJ，Evolino:混合神经进化/序列学习的最优线性搜索\（国际JCAI第19号公报），853-858，（2005） [50] 格雷夫斯，A。；穆罕默德，AR；Hinton，G.，深度递归神经网络语音识别。《声学、语音和信号处理程序》，ICASSP，加拿大温哥华，5月26日至31日），第6645-6649页。新泽西州皮斯卡塔韦：IEEE，（2013） [51] 格雷夫斯，A。；费尔南德斯，S。；Liwicki，M。；Bunke，H。；Schmidhuber，J.，使用递归神经网络的无约束在线手写识别。收录于《美国国家公共政策研究所学报》第20期，加拿大温哥华，12月3日至6日》，第577-584页。Curran Associates（2007年） [52] Wu，Y。；舒斯特，M。；Chen，Z。；Le、QV；诺鲁齐，M。；马切雷，W。；Krikun，M。；曹毅。；Google's neural machine translation system：缩小人机翻译之间的差距。(http://arxiv.org/abs/1609.08144), (2016) [53] 金马，DP；Ba，J.，Adam：一种随机优化方法。(http://arxiv.org/abs/1412.6980), (2017) [54] 格洛洛特，X。；Bengio，Y.，理解训练深度前馈神经网络的困难\（AISTATS第13号程序）114，249-256，（2010） [55] Majda，A。；Harlim，J.，（过滤复杂湍流系统），（2012），剑桥大学出版社·Zbl 1250.93002号 [56] Majda，A。；阿布拉莫夫，RV；MJ Grote，《数学研究中心专题丛书》，第25卷。普罗维登斯，RI:美国数学学会，（多尺度非线性系统的信息理论和随机性），（2005）·Zbl 1082.60002 [57] 奥尔盖尔，北美；哈里斯，KD；Danforth，CM，玩具气候模型的经验修正，Phys。版本E，85，026201，（2012）·doi:10.1103/PhysRevE.85.026201 [58] Basnarkov，L。；Kocarev，L.，Lorenz96系统的预测改进，非线性过程。地球物理学。，19, 569-575, (2012) ·doi:10.5194/npg-19-569-2012年 [59] Lorenz，NE，《可预测性：一个部分解决的问题》。（在ECMWF举行的关于可预测性的Proc.研讨会，英国雷丁，9月4-8日），第1-18页，（1996） [60] 克罗姆林，DT；Majda，AJ，《模型简化策略：比较不同的最优基础》，J.Atmos。科学。，61, 2206-2217, (2004) ·doi:10.1175/1520-0469（2004）061<2206:SFMRD>2.0.CO；2 [61] Kuramoto，Y。；Tsuzuki，T.，远离热平衡的耗散介质中浓度波的持续传播，Prog。西奥。物理。，55, 356-369, (1976) ·doi:10.1143/PTP.55.356 [62] Kuramoto，Y.，反应系统中的扩散诱导混沌，Prog。西奥。物理学。补遗，64，346-367，（1978）·doi:10.1143/PTPS.64.346 [63] Sivashinsky，G.，层流火焰中流体动力学不稳定性的非线性分析——I.基本方程的推导，Acta。宇航员。，4, 1177-1206, (1977) ·Zbl 0427.76047号 ·doi:10.1016/0094-5765（77）90096-0 [64] Sivashinsky，G。；米歇尔逊，DM，《液体薄膜沿垂直平面的不规则波浪流》，Prog。西奥。物理。，632112-21114，（1980年）·doi:10.1143/PTP.63.2112号文件 [65] 布洛尼根，PJ；Wang，Q.，修正Kuramoto-Sivashinsky方程的最小二乘阴影敏感性分析，混沌孤子分形，64，16-25，（2014）·Zbl 1348.35025号 ·doi:10.1016/j.chaos.2014.03.005 [66] Kevrekidis，IG；尼古兰科，B。；JC Scovel，《再次回到马鞍上：库拉莫托·西瓦辛斯基方程的计算机辅助研究》，SIAM J.Appl。数学。，50, 760-790, (1990) ·Zbl 0722.35011号 ·doi:10.1137/015045 [67] Selten，FM，正压流动力学的有效描述，J.Atmos。科学。，52, 915-936, (1995) ·doi:10.1175/1520-0469（1995）052<0915:AEDOTD>2.0.CO；2 [68] 汤普森，DWJ；华莱士，JM，温带环流中的环形模式：第一部分：月到月的变化，J.Clim。，13, 1000-1016, (2000) ·doi:10.1175/1520-0442（2000）013<1000:AMITEC>2.0.CO；2 [69] 钼、KC；Livezey，RE，北半球冬季热带-温带位势高度遥相关，周一。《天气评论》，1142488-2512，（1986）·doi:10.1175/1520-0493（1986）114<2488：TEGHTD>2.0.CO；2 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。