×
杨庆民；伊戈尔·梅尼克

噪声动态系统数据驱动仿真的深度学习算法。 （英语） Zbl 1416.62552号

J.计算。物理学。 376, 1212-1231 (2019).
摘要：我们提出了一个深度学习模型DE-LSTM，用于模拟具有潜在非线性动力学的随机过程。深度学习模型旨在通过数值离散化近似随机过程的概率密度函数，并通过长短期记忆（LSTM）网络对潜在的非线性动力学进行建模。研究表明，当使用数值离散化时，函数估计问题可以通过多标签分类问题来解决。提出一种惩罚最大对数似然法，在概率分布预测中施加平滑条件。我们表明，概率分布的时间演化可以通过LSTM内部状态转移概率的高维积分来计算。概述了一种近似高维积分的蒙特卡罗算法。利用Ornstein-Uhlenbeck过程和非线性动力系统的噪声观测，对DE-LSTM的行为进行了深入研究；Mackey-Glass时间序列和强制范德波尔振荡器。结果表明，DE-LSTM可以很好地预测概率分布，而不必假设随机过程的任何分布特性。对于Mackey-Glass时间序列的多步预测，以95%置信区间表示的预测不确定性首先增长，然后随着系统的演化动态调整，而在模拟强制范德波尔振荡器时，即使是3000步预测，预测不确定性也不会随时间增长。

引用于10文件

MSC公司：

62M45型 神经网络及从随机过程推断的相关方法
37M10个 动力系统的时间序列分析
68T05型 人工智能中的学习和自适应系统
65二氧化碳 蒙特卡罗方法

关键词：

非线性动力系统；时间序列；深度学习；循环神经网络；数据驱动模拟

软件：

亚当；PRMLT公司；预测；火炬；预测；合卡尔曼滤波
PDF格式BibTeX公司 XML格式引用
\textit{K.Yeo}和\textit{I.Melnyk}，J.Comput。物理学。3761212-1231（2019年；Zbl 1416.62552）
全文： 内政部 arXiv公司

参考文献：

[1] Brunton，S.L。；Proctor，J.L。；Kutz，J.N.，通过非线性动力系统的稀疏识别从数据中发现控制方程，Proc。国家。阿卡德。科学。，113, 3932-3937 (2016) ·Zbl 1355.94013号
[2] Jaeger，H。；Haas，H.，《利用非线性：预测混沌系统和无线通信节能》，《科学》，304，78-80（2004）
[3] Wang，W.-X。；赖，Y.-C。；Grebogi，C.，非线性和复杂动力系统的基于数据的识别和预测，Phys。代表，644，1-76（2016）·兹比尔1359.70089
[4] 池田，K。；Daido，H。；秋本，O.，《光学湍流：环形腔透射光的混沌行为》，Phys。修订稿。，45, 709-712 (1980)
[5] 马，H。；Leng，S。；陶，C。；X.Ying。；Kurths，J。；赖，Y.-C。；Lin，W.，基于复杂动力系统时间序列的时滞和方向相互作用检测，物理学。E版，96，第012221条，pp.（2017）
[6] Mackey，M。；Glass，L.，《生理控制系统中的振荡和混沌》，《科学》，197287-289（1977）·Zbl 1383.92036号
[7] Yanchuk，S。；Giacomelli，G.，《具有时滞的复杂系统中的时空现象》，J.Phys。A、 数学。理论。，50，第103001条pp.（2017）·Zbl 1375.37111号
[8] 盒子，G.E.P。；詹金斯，G.M。；Reinsel，G.C.，《时间序列分析》（2008），John Wiley&Sons，Inc·兹比尔1154.62062
[9] Durbin，J。；Koopman，S.J.，《状态空间模型的时间序列分析》（2012），牛津大学出版社·Zbl 1270.62120号
[10] Harvey，A.C.，《预测、结构时间序列模型和卡尔曼滤波器》（1990），剑桥大学出版社·Zbl 0725.62083号
[11] Wan，E.A。；Merwe，R.V.D.，用于非线性估计的无迹卡尔曼滤波器，（IEEE 2000信号处理、通信和控制自适应系统研讨会论文集（2000）），153-158
[12] Evensen，G.，《集合卡尔曼滤波器：理论公式和实际实现》，海洋动力学。，53, 343-367 (2003)
[13] van der Merwe，R。；Doucet，A。；德弗里塔斯，N。；Wan，E.A.，《无味颗粒过滤器》（The unscented particle filter）（神经信息处理系统进展，第13卷（2001）），584-590
[14] 阿鲁兰帕拉姆，M.S。；马斯凯尔，S。；戈登，N。；Clapp，T.，在线非线性/非高斯贝叶斯跟踪粒子滤波器教程，IEEE Trans。信号处理。，50, 174-188 (2002)
[15] 汉密尔顿，F。；Berry，T。；Sauer，T.，用部分模型预测混沌时间序列，Phys。E版，92（2015），010902（R）
[16] 汉密尔顿，F。；Berry，T。；Sauer，T.，无模型集合卡尔曼滤波，Phys。第X版，第6条，第011021页（2016年）
[17] Takens，F.，《探测流体湍流中的奇怪吸引子》，（Rand，D.；Young，L.S.，《动力系统和湍流》，《动力学系统和湍流，数学讲义》，第898卷（1981年），Springer-Verlag），366-381·Zbl 0513.58032号
[18] 杉原，G。；5月，R。；Ye，H。；谢家华。；Deyle，E。；Fogarty，M。；Munch，S.，《探测复杂生态系统中的因果关系》，《科学》，338496-500（2012）·Zbl 1355.92144号
[19] Tsonis，A.A。；Deyle，E.R。；五月，R.M。；杉原，G。；斯旺森，K。；Verbeten，J.D。；Wang，G.，银河宇宙射线和全球温度年际变化之间因果关系的动力学证据，Proc。国家。阿卡德。科学。，112, 3253-3256 (2015)
[20] Li，J.Y。；Ambikasaran，S。；Darve，E.F。；Kitanidis，P.K.，《准连续数据同化问题的由（H^2）矩阵驱动的卡尔曼滤波器》，《水资源》。研究，50，3734-3749（2014）
[21] LeCun，Y。；Y.本吉奥。；Hinton，G.，《深度学习》，《自然》，521，7553，436-444（2015）
[22] Schmidhuber，J.，《神经网络中的深度学习：概述》，神经网络。，61, 85-117 (2015)
[23] 古德费罗，I。；Y.本吉奥。；Courville，A.，《深度学习》（2016），麻省理工学院出版社·Zbl 1373.68009号
[24] Hochreiter，S。；Schmidhuber，J.，长短期记忆，神经计算。，9, 1735-1780 (1997)
[25] Gers，F.A。；施密杜贝尔，J。；Cummins，F.，《学会遗忘：LSTM的持续预测》，神经计算。，12, 2451-2471 (2000)
[26] 因纽布什，M。；Yoshimura，K.，《超越记忆非线性权衡的水库计算》，科学。第7号众议员，第10199条pp.（2017年）
[27] 卢科舍维奇，M。；Jaeger，H.，递归神经网络训练的水库计算方法，计算。科学。修订版，3127-149（2009）·Zbl 1302.68235号
[28] Pathak，J。；亨特，B。；Girvan，M。；卢，Z。；Ott，E.，《从数据对大型时空混沌系统进行无模型预测：水库计算方法》，Phys。修订稿。，120，第024102条pp.（2018）
[29] 莱斯，M。；佩迪卡里斯，P。；Karniadakis，G.E.，用于数据驱动的非线性动力系统发现的多步神经网络·Zbl 1415.68175号
[30] 汤普森，J。；Schlachter，K。；Sprechmann，P。；Perlin，K.，用卷积网络加速欧拉流体模拟
[31] Trischler，A.P。；D’Eleuterio，G.M.T.，动态系统仿真递归神经网络的合成，神经网络。，80, 67-78 (2016) ·Zbl 1415.37102号
[32] Y.本吉奥。；库尔维尔，A。；Vincent，P.，《表征学习：回顾与新视角》，IEEE Trans。模式分析。机器。智力。，35, 1798-1828 (2013)
[33] Bishop，C.M.，模式识别和机器学习（2006），Springer·Zbl 1107.68072号
[34] Graves，A.，用递归神经网络生成序列
[35] 福图纳托，M。；布伦德尔，C。；Vinyals，O.，贝叶斯递归神经网络
[36] 拜耳，J。；Osendorfer，C.，学习随机递归网络
[37] 钟，J。；Kastner，K。；Dinh，L。；Goel，K。；科尔维尔，A.C。；Bengio，Y.，序列数据的递归潜在变量模型，（神经信息处理系统进展（2015）），2980-2988
[38] 金玛，D.P。；Welling，M.，自动编码变分贝叶斯，（第二届学习表征国际会议（2014））
[39] 戈亚尔，A。；兰姆，A。；Zhang，Y。；张，S。；库尔维尔，A。；Bengio，Y.，Professor forced:一种用于训练递归网络的新算法，（《神经信息处理系统进展》（2016）），4601-4609
[40] Silverman，B.W.，《统计和数据分析密度估计》（1986年），查普曼和霍尔出版社·Zbl 0617.62042号
[41] Gers，F.A.（2001），EPFL博士论文
[42] 金玛，D.P。；Ba，J.L.，《ADAM：一种随机优化方法》（第三届学习表征国际会议（2015））
[43] Farmer，J.D.，无限维动力系统的混沌吸引子，Physica D，4366-393（1982）·Zbl 1194.37052号
[44] Hyndman，R.J。；Khandakar，Y.，《自动时间序列预测：R，J.Stat.Softw的预测包》。，26, 3, 1-22 (2008)
[45] Sakamoto，Y。；Kitagawa，G.，Akaike Information Criterion Statistics（1987），Kluwer Academic Publishers：Kluwer-Academy Publishers美国马萨诸塞州诺威尔·Zbl 0608.62006
[46] Gilbert，P.D.，《简要用户指南：动态系统评估》（2006）
[47] 科洛伯特，R。；Kavukcuoglu，K。；Farabet，C.，Torch7：一个类似Matlab的机器学习环境，（BigLearn，NIPS Workshop（2011））
[48] 张，C。；Bengio，S。；Hardt，M。；Recht，B。；Vinyals，O.，理解深度学习需要重新思考泛化，（第五届学习代表国际会议，第五届国际学习代表会议，法国土伦（2017））
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。