埃里克·博尔特 关于解释储层计算混沌预测的惊人成功？与VAR和DMD相比的通用机器学习动态系统。 （英语） Zbl 1512.68265号 混乱 31，第1期，013108，23页（2021）; 勘误表同上，31，第4号，049904，第1页（2021）。 摘要：机器学习已经成为一种广受欢迎的成功范例，特别是在数据驱动科学和工程领域。一个主要的应用问题是从复杂的动力学系统中对未来状态进行数据驱动预测。人工神经网络已经发展成为许多机器学习方法中的一个明确领导者，而递归神经网络被认为特别适合于预测动态系统。在这种情况下，回波状态网络或水库计算机（RC）因其简单性和计算复杂性优势而出现。RC训练只通过简单有效的最小二乘法读出权重，而不是完全训练好的网络。令人惊讶的是，尽管如此，RC还是成功地做出了高质量的预测，即使不是领导者，也会采用经过更严格训练的方法进行竞争。尽管随机选择了权重，但RC为什么以及如何工作，这仍然是一个尚未回答的问题。为此，本文分析了进一步简化的RC，其中内部激活函数是一个单位函数。我们的简化并不是为了调优或改进RC，而是为了分析我们认为令人惊讶的事情，不是因为它没有更好的工作，而是因为这种随机方法完全有效。我们明确地将RC与线性激活和线性读出联系起来，并将其与关于向量自回归（VAR）平均值的成熟时间序列文献联系起来，其中包括通过沃尔德定理得出的关于可代表性的定理，该定理已经合理地用于短期预测。在线性激活和现在流行的二次读出RC的情况下，我们显式连接到非线性VAR，其性能相当好。此外，我们将此范式与现在广泛流行的动态模式分解相关联；因此，这三个人在某种意义上是同一事物的不同面孔。我们用包括Mackey-Glass微分延迟方程和Lorenz63系统在内的流行基准示例来说明我们的观察结果。©2021美国物理研究所 引用于1审查引用于5文件 MSC公司： 68T05型 人工智能中的学习和自适应系统 37M10个 动力系统的时间序列分析 62M10个 统计学中的时间序列、自相关、回归等（GARCH） PDF格式BibTeX公司 XML格式引用 \textit{E.Bolt}，混沌31，No.1，013108，23 p.（2021；Zbl 1512.68265） 全文： DOI程序 arXiv公司 参考文献： [1] 阿米萨诺，G。；Giannii，C.，《结构VAR计量经济学专题》（2012年），Springer Science&Business Media·兹伯利0887.62116 [2] Antonik，P。；古丽娜，M。；Pauwels，J。；Massar，S.，《使用水库计算机学习混沌吸引子，应用于混沌同步和密码学》，Phys。修订版E，98,1012215（2018）·doi:10.1103/PhysRevE.98.012215 [3] 阿巴比，H。；Mezic，I.，遍历理论，动态模式分解和Koopman算子谱特性的计算，SIAM J.Appl。动态。系统。，16, 4, 2096-2126 (2017) ·Zbl 1381.37096号 ·doi:10.1137/17M1125236 [4] Arnoldi，W.E.，矩阵特征值问题求解中的最小化迭代原理，Q.Appl。数学。，9, 1, 17-29 (1951) ·Zbl 0042.12801号 ·doi:10.1090/qam/42792 [5] Bailer-Jones，C.A.L。；麦凯，D.J.C。；Withers，P.J.，动力学系统建模的递归神经网络，Netw。计算。神经系统。，9, 4, 531-547 (1998) ·Zbl 0911.68167号 ·doi:10.1088/0954-898X_9_4_008 [6] Barbounis，T.G。；Theocharis，J.B。；Alexiadis，M.C。；Dokopoulos，P.S.，使用局部递归神经网络模型进行长期风速和功率预测，IEEE Trans。能量转换。，21, 1, 273-284 (2006) ·doi:10.1109/TEC.2005.847954 [7] Bollt，E.，“数据驱动混沌预测的正则化核机器学习”，《混沌理论、分岔和动力系统年度回顾》9，1-26（2020）。 [8] 博尔特，E。 [9] Bollt，E.M.，预测混沌时间序列的模型选择、置信度和标度，《国际分岔混沌》，10，6，1407-1422（2000）·Zbl 1090.34604号 ·doi:10.1142/S0218127400000906 [10] 博尔特，E.M。；Billings，L。；Schwartz，I.B.，理解随机动力系统中输运的流形独立方法，物理D，173，3-4，153-177（2002）·兹比尔1008.37021 ·doi:10.1016/S0167-2789（02）00659-0 [11] 博尔特，E.M。；李强。；迪特里希，F。；Kevrekidis，I.，《通过Koopman算子本征函数匹配甚至校正动力系统》，SIAM J.Appl。动态。系统。，1925-1960年2月17日（2018年）·Zbl 1408.37010号 ·doi:10.1137/17M116207X [12] 博尔特，E.M。；Santissadeekorn，N.，应用和计算可测动力学（2013），SIAM·Zbl 1417.37008号 [13] Box，G.E.P.，《时间序列分析：预测与控制》，《时间系列分析中的霍尔顿-日序列》，由G.E.P Box、G.M.Jenkins和G.C.Reinsel编辑（霍尔顿-天，加利福尼亚州旧金山，1994年），第199-201页·兹比尔0858.62072 [14] 博伊德，S。；Chua，L.，衰减记忆和用Volterra级数逼近非线性算子的问题，IEEE Trans。电路系统。，32, 11, 1150-1161 (1985) ·Zbl 0587.93028号 ·doi:10.1109/TCS.1985.1085649 [15] Brunton，S.L。；Nathan Kutz，J.，《数据驱动科学与工程：机器学习、动态系统和控制》（2019），剑桥大学出版社·Zbl 1407.68002号 [16] Budišić，M。；莫尔，R。；Mezić，I.，《应用科普曼主义》，《混沌》，22，4，047510（2012）·Zbl 1319.37013号 ·doi:10.1063/1.4772195 [17] Buehner，M。；Young，P.，回声状态属性的更严格界限，IEEE Trans。神经网络。，17, 3, 820-824 (2006) ·doi:10.1109/TNN.2006.872357 [18] 卡纳迪，D。；格里菲斯，A。；Gauthier，D.J.，使用基于硬件的水库计算机进行快速时间序列预测，Chaos，28，12，123119（2018）·doi:10.1063/1.5048199 [19] 卡罗尔·T·L。；Pecora，L.M.，水库计算机中的网络结构效应，混沌，29，8，083130（2019）·Zbl 1490.68105号 ·doi:10.1063/1.5097686 [20] Chattopadhyay，A.、Hassanzadeh，P.、Subramanian，D.和Palem，K.，“使用深度学习方法的层次结构对多尺度Lorenz 96混沌系统的数据驱动预测：储层计算、人工神经网络和RNN-LSTM，”arxiv：1906.08829（2019）。 [21] Chen，J.-F。；Wang，W.-M。；Huang，C.-M.，短期负荷预测的自适应时间序列自回归滑动平均（ARMA）模型分析，Electr。电力系统。决议，34，3，187-196（1995）·doi:10.1016/0378-7796（95）00977-1 [22] Choi，E。；Schuetz，A。；Stewart，W.F。；Sun，J.，《使用递归神经网络模型早期检测心力衰竭发作》，《美国医学杂志》。协会，24，2，361-370（2017）·doi:10.1093/jamia/ocw112 [23] Connor，J.、Atlas，L.E.和Martin，D.R.，“递归网络和NARMA建模”，载于《第四届国际神经信息处理系统会议论文集》（《神经信息处理系统进展》，1992年），第301-308页。 [24] Darmon，D。；Cellucci，C.J。；Rapp，P.E.，《带置信度的信息动力学：使用水库计算构建信息动力学度量的置信区间》，《混沌》，29，8，083113（2019）·数字对象标识代码：10.1063/1.5100742 [25] De Wilde，P.，《神经网络模型：分析》（1996），施普林格出版社·Zbl 0833.68100号 [26] Doyne Farmer，J.，无限维动力系统的混沌吸引子，Physica D，4，3，366-393（1982）·Zbl 1194.37052号 ·doi:10.1016/0167-2789（82）90042-2 [27] Farzad，M.、Tahersima，H.和Khaloozadeh，H.，“使用遗传算法预测Mackey-glass混沌时间序列”，2006年SICE-ICASE国际联合会议（IEEE，2006），第5460-5463页。 [28] Funahashi，K.-I。；Nakamura，Y.，用连续时间递归神经网络逼近动力学系统，神经网络。，6, 6, 801-806 (1993) ·doi:10.1016/S0893-6080（05）80125-X [29] 加利奇奥，C。 [30] Gauthier，D.J.，《水库计算：利用通用动力系统》，Phys。修订稿。，120, 2018, 024102 (2018) ·doi:10.1103/PhysRevLett.120.024102 [31] Golub，G.H。；Van Loan，C.F.，《矩阵计算》（2013），约翰·霍普金斯出版社·Zbl 1268.65037号 [32] Gonon，L。；Ortega，J.-P.，《随机输入油藏计算通用性》，IEEE Trans。神经网络。学习。系统。，31, 1, 100-112 (2019) ·doi:10.1109/TNNLS.2019.2899649 [33] 戈农。；奥尔特加，J.-P。 [34] 格里菲斯，A。；Pomerance，A。；Gauthier，D.J.，预测具有极低连通性水库计算机的混沌系统，混沌，29，12，123108（2019）·doi:10.1063/1.5120710 [35] Grzyb，B.J.、Chinellato，E.、Wojcik，G.M.和Kaminski，W.A.，“液态机器使用哪种模型？”，2009年神经网络国际联合会议（IEEE，2009），第1018-1024页。 [36] Han，M。；石，Z.-W。；郭伟，储层神经状态重构与混沌时间序列预测，物理学报。罪。，56, 1, 43-50 (2007) [37] 哈里森，L。；Penny，W.D.，华盛顿州。；Friston，K.，FMRI时间序列的多变量自回归建模，神经影像，19，4，1477-1491（2003）·doi:10.1016/S1053-8119（03）00160-5 [38] 哈特，A。；胡克，J。；Dawes，J.，回波状态网络的嵌入和近似定理，神经网络。，128, 234-247 (2020) ·Zbl 1468.68098号 ·doi:10.1016/j.neunet.2020.05.013 [39] 哈特·A·G。；胡克，J.L。；道斯，J.H.P。 [40] Hartman，D.和Mestha，L.K.，“动力系统模型简化的深度学习框架”，载于2017年IEEE控制技术与应用会议（CCTA）（IEEE，2017），第1917-1922页。 [41] Hochreiter，S。；Schmidhuber，J.，长短期记忆，神经计算。，9, 8, 1735-1780 (1997) ·doi:10.1162/neco.1997.9.8.1735 [42] 黄建清。；Lewis，F.L.，非线性时滞动态系统的神经网络预测控制，IEEE Trans。神经网络。，14, 2, 377-389 (2003) ·doi:10.1109/TNN.2003.809424 [43] Jaeger，H.，“分析和训练递归神经网络的“回声状态”方法——附勘误表，”德国国家信息技术研究中心，《GMD技术报告》，德国波恩，2001年，第148卷，第13页。 [44] Jaeger，H。；Haas，H.，《利用非线性：预测混沌系统和无线通信节能》，《科学》，304，5667，78-80（2004）·doi:10.1126/science.1091277 [45] 姜杰。；Lai，Y.C.，用递归神经网络对时空动力学系统进行无模型预测：网络谱半径的作用，Phys。修订研究，1，3，033056（2019）·doi:10.1103/PhysRevResearch.1.033056 [46] 犬舍，M.B。；Isabelle，S.，区分可能的混沌和有色噪声并确定嵌入参数的方法，Phys。A版，46、6、3111（1992年）·doi:10.103/物理版本A.46.3111 [47] 木村，M。；Nakano，R.，通过轨道递归神经网络学习动力系统，神经网络。，11, 9, 1589-1599 (1998) ·doi:10.1016/S0893-6080（98）00098-7 [48] 南卡罗莱纳州库姆帕蒂。。；Kannan，P.，《使用神经网络识别和控制动态系统》，IEEE Trans。神经网络。，1，1，4-27（1990年）·数字对象标识代码：10.1109/72.80202 [49] 内森·库茨，J。；Brunton，S.L。；布伦顿，B.W。；Proctor，J.L.，《动态模式分解：复杂系统的数据驱动建模》（2016），SIAM·Zbl 1365.65009号 [50] Längkvist，M。；卡尔森，L。；Loutfi，A.，时间序列建模的无监督特征学习和深度学习综述，模式识别。莱特。，42, 11-24 (2014) ·doi:10.1016/j.patrec.2014.01.008 [51] Lasota，A。；Mackey，M.C.，《混沌、分形和噪音：动力学的随机方面》（2013），斯普林格科学与商业媒体 [52] Levine，D.S.，《神经和认知建模导论》（2018），劳特利奇出版社 [53] 李强。；迪特里希，F。；博尔特，E.M。；Kevrekidis，I.G.，带字典学习的扩展动态模式分解：Koopman算子的数据驱动自适应谱分解，混沌，27，10，103111（2017）·Zbl 06876982号 ·doi:10.1063/1.4993854 [54] Lichtenberg，A.，J和Lieberman Ma 1983规则和随机运动，应用。数学。科学。，38, 85 (1983) ·Zbl 0506.70016号 [55] Lorenz，E.N.，《确定性非周期流》，J.Atmos。科学。，20, 2, 130-141 (1963) ·Zbl 1417.37129号 ·doi:10.1175/1520-0469（1963）020＜0130：DNF＞2.0.CO；2 [56] 卢，Z。；亨特，B.R。；Ott，E.，通过机器学习重构吸引子，混沌，28，6，061104（2018）·数字对象标识代码：10.1063/1.5039508 [57] Lukoševičius，M.，“应用回声状态网络的实用指南”，载于《神经网络：交易技巧》（Springer，2012），第659-686页。 [58] Lukoševičius，M。；Jaeger，H.，递归神经网络训练的水库计算方法，计算。科学。第3、3、127-149版（2009年）·Zbl 1302.68235号 ·doi:10.1016/j.cosrev.2009.03.005 [59] Lütkepohl，H.，《多重时间序列分析新导论》（2005），施普林格科学与商业媒体·Zbl 1072.62075号 [60] 马斯，W。；Natschläger，T。；Markram，H.，《无稳定状态的实时计算：基于扰动的神经计算的新框架》，《神经计算》。，14, 11, 2531-2560 (2002) ·Zbl 1057.68618号 ·doi:10.1162/089976602760407955 [61] Mackey，M.C。；Glass，L.，《生理控制系统中的振荡和混沌》，《科学》，197，4300，287-289（1977）·Zbl 1383.92036号 ·doi:10.1126/science.267326 [62] Marsland，S.，《机器学习：算法视角》（2015），CRC出版社 [63] Michie，D。；施皮盖尔哈特，D.J。；Taylor，C.C.，机器学习，神经统计分类，13，1994，1-298（1994） [64] 马尔登，M.R。；布鲁姆黑德，D.S。；Huke，J.P。；Hegger，R.，动态噪声中的延迟嵌入，Dyn。刺。系统。，13, 2, 175-186 (1998) ·Zbl 0909.62084号 ·doi:10.1080/02681119808806259 [65] Nelson，M.M.和Illingworth，W.T.，《神经网络实用指南》，1991年；可在获取https://www.osi.gov/biblio/5633084。 ·Zbl 0816.68103号 [66] Ortín González，S。；Soriano，M.C。；冈萨雷斯（Pesquera González，L.）。；Brunner，D。；圣马丁·塞古拉，D。；费舍尔，I。；米拉索，C。；Gutiérrez Llorente，J.M.，科学。代表，514945（2015）·doi:10.1038/srep14945 [67] 新罕布什尔州帕卡德。；克拉奇菲尔德，J.P。；Farmer，J.D。；Shaw，R.S.，《时间序列中的几何》，《物理学》。修订稿。，45712（1980年）·doi:10.1103/PhysRevLett.45.712 [68] Madhavrao Pandit，S。；Wu，S.-M.，《时间序列和系统分析及其应用》（1983年），威利出版社，纽约·Zbl 0586.62141号 [69] Pascanu，R.、Mikolov，T.和Bengio，Y.，“关于训练递归神经网络的难度”，《机器学习国际会议》（PMLR，2013），第1310-1318页。 [70] Pathak，J。；亨特，B。；Girvan，M。；卢，Z。；Ott，E.，《从数据对大型时空混沌系统进行无模型预测：水库计算方法》，Phys。修订稿。，120, 2, 024102 (2018) ·doi:10.1103/PhysRevLett.120.024102 [71] Paulsen，J。；Tjöstehim，D.，《关于自回归时间序列中剩余方差和阶的估计》，J.R.Stat.Soc.Ser。B、 47、2、216-228（1985）·Zbl 0568.62083号 ·doi:10.1111/j.2517-6161.1985.tb01348.x [72] 佩纳，D。；Tiao，G.C。；Tsay，R.S.，时间序列分析课程（2011），John Wiley&Sons [73] 秦，D.，VAR建模方法的兴起，J.Econ。调查。，25, 1, 156-174 (2011) ·数字对象标识代码：10.1111/j.1467-6419.2010.00637.x [74] Mohiuddin Rather，A。；阿加瓦尔，A。；Sastry，V.N.，递归神经网络和股票收益预测的混合模型，专家系统。申请。，42334-3241（2015年）·doi:10.1016/j.eswa.2014.12.003 [75] O.A.Rosso。；Larrondo，H.A。；马丁·M·T。；Plastino，A.公司。；Fuentes，M.A.，《区分噪音与混沌》，Phys。修订稿。，99, 15, 154102 (2007) ·doi:10.1103/PhysRevLett.99.154102 [76] 罗利，C.W。；Mezić，I。；Bagheri，S。；施拉特，P。；Henningson，D.，非线性流动的谱分析，J.流体力学。，641, 1, 115-127 (2009) ·Zbl 1183.76833号 ·doi:10.1017/S0022112009992059 [77] Sauer，T。；约克·J·A。；Casdagli，M.，嵌入式，J.Stat.Phys。，65, 3-4, 579-616 (1991) ·Zbl 0943.37506号 ·doi:10.1007/BF01053745 [78] 施密德，P.J.，数值和实验数据的动态模式分解，J.流体力学。，656, 5-28 (2010) ·Zbl 1197.76091号 ·doi:10.1017/S0022112010001217 [79] Scott，A.，《非线性科学百科全书》（2006），Routledge [80] Serio，C.，时间序列的自回归表示作为诊断混沌存在的工具，Europhys。莱特。，27, 2, 103 (1994) ·doi:10.1209/0295-5075/27/2005 [81] 宋，Q。；Feng，Z.，复杂回波状态网络的连接结构对其非线性时间序列预测性能的影响，神经计算，73，10-12，2177-2185（2010）·doi:10.1016/j.neucom.2010.01.015 [82] Sun，J。；泰勒，D。；Bollt，E.M.，通过最佳因果熵进行因果网络推断，SIAM J.Appl。动态。系统。，14, 1, 73-106 (2015) ·Zbl 1376.37123号 ·数字对象标识代码：10.1137/140956166 [83] Takens，F.，“探测湍流中的奇怪吸引子”，《动力学系统与湍流》，沃里克1980年（施普林格，1981年），第366-381页·Zbl 0513.58032号 [84] Tiao，G.C。；Tsay，R.S.，ARMA模型中自回归参数最小二乘估计的一致性，《Ann.Stat.》，第11期，第856-871页（1983年）·Zbl 0523.62076号 ·doi:10.1214操作系统/1176346252 [85] Van der Vorst，H.A.，《大型线性系统的迭代Krylov方法》（2003），剑桥大学出版社·Zbl 1023.65027号 [86] 万德龙，K。；Mechet，P。；Van Vaerenbergh，T。；菲尔斯，M。；Morthier，G.公司。；Verstraeten，D。；Schrauwen，B。；Dambre，J。；Bienstman，P.，《硅光子学芯片上储层计算的实验演示》，国家通讯社。，5, 1, 1-6 (2014) ·doi:10.1038/ncomms4541 [87] Verstraeten，D。；Schrauwen，B。；dÕHaene，M。；斯特罗班特，D.，《油藏计算方法的实验统一》，神经网络。，20, 3, 391-403 (2007) ·Zbl 1132.68605号 ·doi:10.1016/j.neunet.2007.04.003 [88] 瓦拉查斯，P.R。；再见，W。；Wan，Z.Y。；Sapsis，T.P。；Koumoutsakos，P.，《长短期记忆网络高维混沌系统的数据驱动预测》，Proc。R.Soc.A，474，2213，20170844（2018）·Zbl 1402.92030 ·doi:10.1098/rspa.2017.0844 [89] 瓦拉查斯，P.R。；Pathak，J。；亨特，B.R。；Sapsis，T.P。；Girvan先生。；Ott，E。；库穆塔科斯，P。 [90] Wernecke，H。；Sándor，B。；Gros，C.，《时滞系统中的混沌》，教育评论，Phys。代表，824，1-40（2019）·doi:10.1016/j.physrep.2019.08.001 [91] M.O.威廉姆斯。；Kevrekidis，I.G。；Rowley，C.W.，《Koopman算子的数据驱动近似：扩展动态模式分解》，《非线性科学杂志》。，25, 6, 1307-1346 (2015) ·兹比尔1329.65310 ·doi:10.1007/s00332-015-9258-5 [92] Andreas Wold，H.O.，《平稳时间序列分析研究：附附录》（1954年），Almqvist&Wiksell·Zbl 0055.13401号 [93] Yeo，K。 [94] Yeo，K。；Melnyk，I.，噪声动力系统数据驱动模拟的深度学习算法，J.Compute。物理。，376, 1212-1231 (2019) ·Zbl 1416.62552号 ·doi:10.1016/j.jcp.2018.10.024 [95] Yonemoto，K。；Yanagawa，T.，通过自回归模型估计混沌时间序列的嵌入维数和延迟时间，Bull。信息网络。，33, 1-2, 53-62 (2001) ·Zbl 1271.62212号 ·数字对象标识代码：10.5109/13503 [96] 齐默尔曼，R.S。；Parlitz，U.，《利用水库计算观测可激发介质的时空动力学》，《混沌》，28，4，043118（2018）·doi:10.1063/1.5022276 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。