×
马蒂奥·桑吉奥·马蒂奥；法比奥·德科尔

用于混沌时间序列多步预测的LSTM神经网络的鲁棒性。 （英语） Zbl 1490.68198号

混沌孤子分形 139，文章ID 110045，12 p.（2020）.
摘要：递归神经元（尤其是LSTM细胞）被证明在用作构建序列到序列架构的基本块时是有效的，这代表了与自然语言处理相关的许多序列任务中的最先进方法。在这项工作中，这些结构被提出作为非线性时间序列的通用多步预测器。我们分析由混沌振荡器生成的无噪声人工数据，并将LSTM网络与前馈、一步递归和多输出预测器设置的基准进行比较。我们重点讨论了两种不同的LSTM网络训练方法。传统的方法是利用所谓的教师强制，即地面实况数据被用作每个前进时间步的输入，而不是之前步骤的预测输出。相反，第二种方法将之前的预测反馈给循环神经元，就像网络用于预测时一样。LSTM预测因子有力地显示了两个基准竞争对手的优势，即一步回归预测因子的良好短期性能，以及相对于前馈、多输出预测因子的大大改进的中长期预测。建议在无需教师强制的情况下训练LSTM预测器，以提高准确性和鲁棒性，并确保混沌吸引子内的预测能力分布更加均匀。我们还表明，当输入中包含的时间滞后数与数据集的实际嵌入维度不同时，LSTM体系结构保持良好的性能，这在处理实际数据时非常重要。

引用于7文件

MSC公司：

68T07型 人工神经网络与深度学习
68T05型 人工智能中的学习和自适应系统
37M10个 动力系统的时间序列分析
62M20型 随机过程推断和预测

关键词：

确定性混沌；循环神经网络；教师强迫；曝光偏差；多步骤预测；非线性时间序列

软件：

张紧器2传感器；亚当；BERT（误码率）；凯拉斯；PyTorch公司；ASCL公司；WaveNet公司
PDF格式BibTeX公司 XML格式引用
\textit{M.Sangiorgio}和\textit{F.Dercole}，混沌孤子分形139，文章ID 110045，12 p.（2020；Zbl 1490.68198）
全文： 内政部

参考文献：

[1] Farmer，J.D。；Sidorowich，J.J.，《预测混沌时间序列》，《物理学评论》，第59、8、845页（1987年）
[2] Casdagli，M.，混沌时间序列的非线性预测，Physica D，35，335-356（1989）·兹比尔0671.62099
[3] Jones，R.D。；Lee，Y.C。；巴恩斯，C。；薄片，G.W。；Lee，K。；Lewis，P.，用神经网络进行函数逼近和时间序列预测，1990年IJCNN国际神经网络会议论文集，649-665（1990），IEEE
[4] Navone，H。；Ceccatto，H.，通过神经网络学习混沌动力学，混沌、孤子和分形，6383-387（1995）·Zbl 0905.58024号
[5] Verdes，P。；Granitto，P。；Navone，H。；Ceccatto，H.，预测混沌时间序列：全局与局部方法，新型智能自动化和控制系统，1129-145（1998）
[6] 穆克吉，S。；Osuna，E。；Girosi，F.，使用支持向量机对混沌时间序列进行非线性预测，信号处理神经网络VII。1997年IEEE信号处理学会研讨会论文集，511-520（1997），IEEE
[7] Lin，T.-N。；贾尔斯，C.L。；霍恩，B.G。；Kung，S.-Y.，narx神经网络的延迟损伤模型选择算法，IEEE Trans Signal Process，45，11，2719-2730（1997）
[8] 阀盖，D。；拉布伊斯，V。；Grumbach，A.，/Spl-delta/-narma神经网络：信号预测的新方法，IEEE Trans-signal Process，45，11，2799-2810（1997）
[9] Yeh，J.-P.，使用与线性设备耦合的模糊模型识别混沌系统，混沌、孤子和分形，32，3，1178-1187（2007）
[10] Atsalakis，G。；斯基达斯，C。；Nezis，D.，用神经网络预测混沌时间序列，第八届应用随机模型和数据分析国际会议论文集，立陶宛维尔纽斯，307782（2008）
[11] Han，M。；王毅，基于神经网络的多元混沌时间序列分析与建模，专家系统应用，36，2，1280-1290（2009）
[12] Woolley，J.W。；阿加瓦尔，P。；Baker，J.，用人工神经网络对混沌系统进行建模和预测，《国际数值方法流体》，63，8，989-1004（2010）·Zbl 1193.65213号
[13] Covas，大肠杆菌。；Benetos，E.，时空预测的最佳神经网络特征选择，混沌：非线性科学的跨学科期刊，29，6，063111（2019）
[14] 德科尔，F。；Sangiorgio，M。；Schmirander，Y.，预测振荡时间序列的ann普遍性的经验评估，接受发表在IFAC-PapersOnLine（2020）上
[15] Leung，H。；Lo，T。；Wang，S.，使用最优径向基函数神经网络预测含噪混沌时间序列，IEEE Trans neural Networks，12，5，1163-1172（2001）
[16] 格拉，F.A。；Coelho，L.d.S.，使用径向基神经网络进行洛伦兹混沌系统的多级超前非线性识别，通过聚类和粒子群优化进行学习，混沌，孤立子和分形，35，5，967-979（2008）·Zbl 1141.37018号
[17] 丁·H·L。；Yeung，D.S。；马庆林。；Ng、W.W。；Wu，D.-L。；Li，J.-C.，使用基于l-gem的rbfnn预测混沌时间序列，2009年机器学习和控制论国际会议论文集，21172-1177（2009），IEEE
[18] 托多罗夫，Y。；Koprinkova-Hristova，P。；Terziyska，M.，用于非线性动力学建模的直觉模糊径向基函数网络，2017年第21届过程控制国际会议论文集，410-415（2017），IEEE
[19] Van Truc，N。；Anh，D.T.，使用径向基函数网络进行混沌时间序列预测，2018年第四届绿色技术与可持续发展国际会议论文集，753-758（2018），IEEE
[20] Masnadi-Shirazi，M。；Subramaniam，S.，《吸引子排序径向基函数网络：混沌动力系统的非参数预测方法》，科学代表，10，1，1-10（2020）
[21] 马奎尔，L.P。；罗氏，B。；McGinnity，T.M。；McDaid，L.，使用模糊神经网络预测混沌时间序列，Inf Sci（Ny），112，1-4125-136（1998）·Zbl 0953.68590号
[22] Kuremoto，T。；Obayashi，M。；山本，A。；Kobayashi，K.，通过强化学习预测混沌时间序列，Proc。第二届国际实习生。计算智能、机器人和自主系统（CIRAS 2003）（2003）
[23] Yang，H.Y。；Ye，H。；王，G。；Khan，J。；胡涛，基于混沌动力学重构的模糊神经短期负荷预测，混沌、孤子与分形，29，2，462-469（2006）·Zbl 1123.37333号
[24] 张杰。；Chung，H.S.-H。；Lo，W.-L.，使用带有时滞坐标的神经模糊系统进行混沌时间序列预测，IEEE Trans Knowl Data Eng，20,7956-964（2008）
[25] 陈，Z。；卢，C。；张伟。；Du，X.，基于模糊神经网络的混沌时间序列预测方法及其应用，2010年混沌分形理论与应用国际研讨会论文集，355-359（2010），IEEE
[26] Kuremoto，T。；Obayashi先生。；小林，K。；Hirata，T。；Mabu，S.，用dbns预测混沌时间序列数据，2014年第七届图像和信号处理国际会议论文集，1130-1135（2014），IEEE
[27] 潘科夫斯基，B。；波特，X。；雅克，M。；较大，L。；Brunner，D.，耦合非线性时滞系统作为深度卷积神经网络，Phys Rev Lett，123，5，54101（2019）
[28] 张建生。；Xiao，X.-C.，利用递归神经网络预测混沌时间序列，Chin Phys Lett，17，2，88（2000）
[29] 坎纳斯，B。；辛科蒂，S。；Marchesi，M。；Pilo，F.，用局部递归神经网络学习蔡氏电路吸引子，混沌，孤子与分形，12，11，2109-2115（2001）·兹伯利0981.68135
[30] 坎纳斯，B。；Cincotti，S.，通过可观察的洛伦兹吸引子的神经重建，混沌、孤子和分形，14，1，81-86（2002）·Zbl 1042.37025号
[31] Han，M。；Xi，J。；徐，S。；尹福林，基于递归预测神经网络的混沌时间序列预测，IEEE Trans-Signal Process，52，12，3409-3416（2004）·Zbl 1373.62463号
[32] 马庆林。；郑庆林。；彭，H。；钟，T.-W。；Xu，L.-Q.，基于进化递归神经网络的混沌时间序列预测，2007年机器学习和控制论国际会议论文集，6，3496-3500（2007），IEEE
[33] Cechin，A.L。；佩奇曼，D.R。；de Oliveira，L.P.，用递归神经网络优化混沌系统的马尔可夫建模，混沌、孤子与分形，37，5，1317-1327（2008）·兹比尔1142.90458
[34] Maathuis，H。；布洛涅，L。；Wiering，M。；Sterk，A.，《使用机器学习技术预测混沌时间序列》，第29届比荷卢联盟人工智能会议预告（BNAIC 2017），326-340（2017）
[35] Yu，R。；郑S。；Liu，Y.，使用张量递归神经网络学习混沌动力学，ICML论文集（2017）
[36] 古德费罗，I。；Y.本吉奥。；A.Courville，《深度学习》（2016），麻省理工学院出版社·Zbl 1373.68009号
[37] Butcher，J.B。；Verstraeten，D。；Schrauwen，B。；Day，C。；Haycock，P.，非线性时间序列数据分析的水库计算和极端学习机器，神经网络，38，76-89（2013）
[38] Pathak，J。；卢，Z。；亨特，B.R。；Girvan，M。；Ott，E.，《使用机器学习复制混沌吸引子并从数据中计算lyapunov指数》，《混沌：非线性科学跨学科期刊》，27，12，121102（2017）·Zbl 1390.37138号
[39] 卢，Z。；Pathak，J。；亨特，B。；Girvan，M。；布罗科特，R。；Ott，E.，《水库观测者：混沌系统中未测量变量的无模型推断》，《混沌：非线性科学跨学科期刊》，27，4，41102（2017）
[40] 卡纳迪，D。；格里菲斯，A。；Gauthier，D.J.，用基于硬件的水库计算机进行快速时间序列预测，《混沌：非线性科学的跨学科期刊》，28，12，123119（2018）
[41] 卢，Z。；亨特，B.R。；Ott，E.，机器学习的吸引子重建，混沌：非线性科学的跨学科期刊，28，6106104（2018）
[42] Pathak，J。；亨特，B。；Girvan，M。；卢，Z。；Ott，E.，《从数据中对大型时空混沌系统进行无模型预测：水库计算方法》，Phys Rev Lett，120，2，24102（2018）
[43] Antonik，P。；古丽娜，M。；Pauwels，J。；Massar，S.，《使用水库计算机学习混沌吸引子，以及混沌同步和密码学应用》，《物理评论》E，98，1，012215（2018）
[44] 瓦拉查斯，P.R。；再见，W。；Wan，Z.Y。；Sapsis，T.P。；Koumoutsakos，P.，具有长短期记忆网络的高维混沌系统的数据驱动预测，英国皇家学会学报A：数学、物理和工程科学，474、2213、20170844（2018）·兹比尔1402.92030
[45] Wan，Z.Y。；弗拉查斯，P。；库穆塔科斯，P。；Sapsis，T.，复杂动力系统中极端事件的数据辅助降阶建模，PLoS ONE，13，5，e0197704（2018）
[46] Madondo，M。；Gibbons，T.，使用lstm递归神经网络学习和建模混沌，MICS 2018年会议记录（2018）
[47] Yeo，K.，《基于稀疏观测的非线性动力学数据驱动重建》，《计算物理杂志》（2019）·兹比尔1452.37082
[48] 翁，T。；Yang，H。；顾，C。；张杰。；Small，M.，《混沌系统及其机器学习模型的同步》，《物理评论》E，99，4，042203（2019）
[49] Hassanzadeh，P。；Chattopadhyay，A。；Palm，K。；Subramanian，D.，使用深度学习方法层次结构的多尺度洛伦兹96混沌系统的数据驱动预测：水库计算、人工神经网络和rnn-lstm。，美国物理学会公报（2019）
[50] Jüngling，T。；林伯恩，T。；Stemler，T。；Corrêa博士。；Walker，D。；Small，M.，利用水库计算从时间序列重建复杂动力系统，2019年IEEE电路与系统国际研讨会（ISCAS）论文集，1-5（2019），IEEE
[51] 姜杰。；Lai，Y.C.，《利用递归神经网络对时空动力学系统进行无模型预测：网络谱半径的作用》，《物理评论研究》，第1期，第3期，第33056页（2019年）
[52] 朱，Q。；马，H。；Lin，W.，仅基于时间序列检测不稳定周期轨道：当自适应延迟反馈控制满足水库计算时，混沌：非线性科学跨学科期刊，29，9，93125（2019）·Zbl 1423.37064号
[53] Haluszczynski，A。；Räth，C.，《好预测和坏预测：通过水库计算评估和改进混沌吸引子的复制》，《混沌：非线性科学的跨学科期刊》，29，10，103143（2019）·Zbl 1425.37025号
[54] Nakai，K。；Saiki，Y.，使用标量可观测延迟坐标的宏观流体变量模型的机器学习构造，arXiv预印本arXiv:190305770（2019）
[55] 风扇，H。；姜杰。；张，C。；王，X。；Lai，Y.-C.，用机器学习对混沌系统进行长期预测，物理评论研究，2，1，012080（2020）
[56] 弗拉查斯，P。；Pathak，J。；亨特，B。；Sapsis，T。；Girvan，M。；Ott，E.，《用于复杂时空动力学预测的递归神经网络中的反向传播算法和水库计算》，神经网络（2020年）
[57] Gers，F.A。；埃克·D。；Schmidhuber，J.，通过时间窗方法将lstm应用于可预测的时间序列，《神经网络学报》WIRN Vietri-01193-200（2002），Springer
[58] 曹，L。；Y.Hong。；方，H。；He，G.，用小波网络预测混沌时间序列，Physica D，85，1-2，225-238（1995）·兹比尔0888.93005
[59] 洛佩斯·卡拉巴洛，C。；萨尔法特，I。；Lazzús，J。；罗哈斯，P。；里维拉，M。；Palma-Chilla，L.，用群优化神经网络预测Mackey-glass噪声混沌时间序列，《物理学杂志：会议系列》，720（2016），IOP出版社
[60] Akritas，P。；安东尼乌，I。；Ivanov，V.，应用切比雪夫神经网络识别和预测离散混沌映射，混沌、孤子和分形，11，1-3，337-344（2000）·Zbl 1115.68469号
[61] Pathak，J。；Wikner，A。；Fussell，R。；Chandra，S。；亨特，B.R。；Girvan，M.，《混沌过程的混合预测：结合基于知识的模型使用机器学习》，《混沌：非线性科学的跨学科期刊》，28，4，41101（2018）
[62] 雷，Y。；胡，J。；丁，J.，基于深度lstm的预测高维混沌系统的混合模型，arXiv预印本arXiv:200200799（2020）
[63] 新罕布什尔州道恩。；波利夫克，W。；Magri，L.，《混沌系统预测的基于物理的回波状态网络》，国际计算科学会议论文集，192-198（2019），斯普林格
[64] 井上，H。；Y.Fukunaga。；Narihisa，H.，混沌时间序列预测的高效混合神经网络，人工神经网络国际会议论文集，712-718（2001），Springer·Zbl 1005.68946号
[65] Okuno，S。；Aihara，K。；Hirata，Y.，通过状态相关加权组合多元时间序列的多重预测，混沌：非线性科学的跨学科期刊，29，3，033128（2019）
[66] Yang，F.-P。；Lee，S.-J.，《应用软计算预测混沌时间序列》，2008年IEEE粒度计算国际会议论文集，718-723（2008），IEEE
[67] Atsalakis，G。；Tsakalaki，K.，混沌时间序列预测的模拟退火和神经网络，混沌建模与仿真，181-90（2012）
[68] 巴克，R。；肖滕，J.C。；贾尔斯，C.L。；拍摄，F。；Bleek，C.M.v.d.，通过神经网络学习混沌吸引子，神经计算，12，10，2355-2383（2000）
[69] Lim，T.P。；Puthusserypady，S.，混沌时间序列预测背景下交叉验证的错误标准，混沌：非线性科学跨学科期刊，16，1，013106（2006）·Zbl 1144.37374号
[70] 施，X。；Feng，Y。；曾杰。；Chen，K.，基于改进递归levenberg-marquardt算法的混沌时间序列预测，混沌、孤子与分形，100，57-61（2017）·Zbl 1373.68334号
[71] He，T。；张杰。；Zhou，Z。；Glass，J.，量化神经语言生成的暴露偏差，arXiv预印本arXiv:190510617（2019）
[72] Takens，F.，《湍流中奇怪吸引子的探测》，《动力学系统与湍流学报》，沃里克1980年，366-381（1981），施普林格·Zbl 0513.58032号
[73] 犬舍，M.B。；布朗，R。；Abarbanel，H.D.，使用几何结构确定相空间重建的嵌入尺寸，《物理评论》a，45，6，3403（1992）
[74] Sutskever，I。；葡萄酒，O。；Le，Q.V.，神经网络的序列到序列学习，神经信息处理系统进展，3104-3112（2014）
[75] Hochreiter，S。；Schmidhuber，J.，《长短期记忆，神经计算》，第9、8、1735-1780页（1997年）
[76] 威廉姆斯，R.J。；Zipser，D.，连续运行全递归神经网络的学习算法，神经计算，1,2,270-280（1989）
[77] Bengio，S。；葡萄酒，O。；北卡罗来纳州贾特利。；Shazeer，N.，使用递归神经网络进行序列预测的计划抽样，神经信息处理系统的进展，1171-1179（2015）
[78] 拜尔，G。；Klein，M.，广义hénon映射中的最大超混沌，Phys Lett A，151，6-7281-284（1990）
[79] Richter，H.，《广义henon映射：高维混沌示例》，《国际分岔混沌杂志》，12，6，1371-1384（2002）·Zbl 1044.37026号
[80] 金玛，D.P。；Ba，J.，Adam：一种随机优化方法，arXiv预印本arXiv:14126980（2014）
[81] Chollet，F.，Keras:巨蟒深度学习库，天体物理源代码库（2018）
[82] Paszke，A。；毛重，S。；钦塔拉，S。；Chanan，G。；杨，E。；DeVito，Z.，《pytorch中的自动区分》，NIPS-W（2017）
[83] 波维内利，R.J。；约翰逊，M.T。；林格伦，A.C。；罗伯茨，F.M。；Ye，J.，用于信号分类的重构相空间统计模型，IEEE Trans-signal Process，54，6，2178-2186（2006）·Zbl 1374.94584号
[84] Manabe，Y。；Chakraborty，B.，通过神经网络结构学习估计非线性时间序列最佳嵌入参数的新方法，神经计算，70，7-9，1360-1371（2007）
[85] Yijie，W。；Min，H.，基于优化相空间重构的多元混沌时间序列预测，2007年中国控制会议论文集，169-173（2007），IEEE
[86] Maus，A。；Sprott，J.，确定时间序列嵌入维数的神经网络方法，《公共非线性科学数值模拟》，16，8，3294-3302（2011）·Zbl 1220.65015号
[87] Kumpati，S.N。；Kannan，P.，使用神经网络识别和控制动力系统，IEEE Trans neural networks，1,1,4-27（1990）
[88] 小梅内泽斯，J.M.P。；Barreto，G.A.，《使用narx网络进行长期时间序列预测：实证评估》，《神经计算》，71，16-18，3335-3343（2008）
[89] 里贝罗，A.H。；Aguirre，L.A.，并行训练被认为有害：比较串行并行和并行前馈网络训练，神经计算，316，222-231（2018）
[90] 皮罗迪，L。；Spinelli，W.，基于仿真误差最小化的多项式narx模型辨识算法，国际J控制，76，17，1767-1781（2003）·Zbl 1041.93019号
[91] 奥尔德，A.v.d。；迪尔曼，S。；Zen，H。；Simonyan，K。；葡萄酒，O。；Graves，A.，Wavenet:一个原始音频的生成模型，arXiv预印本arXiv:160903499（2016）
[92] Bai，S。；Kolter，J.Z。；Koltun，V.，《序列建模中通用卷积和递归网络的经验评估》，arXiv预印本arXiv:180301271（2018）
[93] LeCun，Y。；Bengio，Y.，图像、语音和时间序列的卷积网络，大脑理论和神经网络手册，3361，10（1995）
[94] 89-89
[95] Pancerasa，M。；Sangiorgio，M。；Ambrosini，R。；北Saino。；Winkler，D.W。；Casagrandi，R.，《利用先进的机器学习技术重建鸟类远距离迁徙路线》，《皇家学会界面杂志》，16，155，20190031（2019）
[96] 德夫林，J。；Chang，M.-W。；Lee，K。；Toutanova，K.，Bert：深层双向变压器语言理解预培训，arXiv预印本arXiv:181004805（2018）
[97] 瓦斯瓦尼，A。；北沙泽尔。；北卡罗来纳州帕尔马。；Uszkoreit，J。；Jones，L。；Gomez，A.N.，《注意力就是你需要的一切》，《神经信息处理系统的进展》，5998-6008（2017）
[98] Wu，N。；绿色，B。；X·本。；O'Banion，S.，《用于时间序列预测的深度转换模型：流感流行案例》，arXiv预印本arXiv:200108317（2020）
[99] Laurent，T。；von Brecht，J.，《无混沌的递归神经网络》，arXiv预印本arXiv:161206212（2016）
[100] 米勒，J。；Hardt，M.，稳定回归模型，arXiv预印本arXiv:180510369（2018）
[101] 李，Z。；Ravela，S.，关于混沌动力学的神经可学习性，arXiv预印本arXiv:191205081（2019）
[102] 松本，T。；Y.中岛。；齐藤，M。；Sugi，J。；Hamagishi，H.，《非线性动力系统的重构和预测：层次贝叶斯方法》，IEEE Trans-Signal Process，49，9，2138-2155（2001）·兹比尔1369.93599
[103] Siek，M.，《预测风暴潮：混沌、计算智能、数据同化和集合：UNESCO-IHE博士论文》（2011年），CRC出版社
[104] 美国罗索利亚。；张，X。；Borrelli，F.，《自治系统的数据驱动预测控制》，《控制、机器人和自治系统年度回顾》，1，2，259-286（2018）
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。