潘绍武;Karthik Duraisamy公司 保证稳定性的非线性动力学线性嵌入的物理信息概率学习。 （英语） Zbl 1442.37090号 SIAM J.应用。动态。系统。 19，第1期，480-509（2020）. 概述：Koopman算子提供坐标变换以全局线性化动力学，已成为分析非线性动力学系统的有力工具。虽然最近的深度学习方法有助于从数据驱动的角度提取Koopman操作符，但仍存在一些挑战。在这项工作中，我们在测量理论框架中形式化了利用深度神经网络学习连续时间Koopman算子的问题。我们的方法归纳了两类模型，微分和递归形式，其选择取决于控制方程和数据的可用性。然后，我们实施一个结构参数化，使Koopman算子的实现具有可证明的稳定性。构造了一种新的自动编码器结构，以便只学习动态模式分解的残差。最后，我们在分层贝叶斯环境中对上述框架采用平均场变分推理，以量化可观测动态表征和预测中的不确定性。该框架是在一个简单的多项式系统、Duffing振子和带有噪声测量的不稳定圆柱尾迹流上进行评估的。 引用于23文件 MSC公司： 37M10个 动力系统的时间序列分析 37米25 遍历理论的计算方法（不变测度的近似、Lyapunov指数的计算、熵等） 47B33型 线性合成运算符 2015年1月62日 贝叶斯推断 关键词：Koopman分解;自动编码器;线性嵌入;降阶建模;变分推理 软件：爱德华;反对称RNN;TensorFlow公司;ADVI公司;亚当;开放式泡沫 PDF格式BibTeX公司 XML格式引用 \textit{S.Pan}和\textit{K.Duraisamy}，SIAM J.Appl。动态。系统。19，第1号，480--509（2020；Zbl 1442.37090） 全文： 内政部 arXiv公司 参考文献： [1] M.Abadi、P.Barham、J.Chen、Z.Chen、A.Davis、J.Dean、M.Devin、S.Ghemawat、G.Irving、M.Isard等人，《Tensorflow：大规模机器学习的系统》，载于2016年第12届操作系统设计与实现研讨会论文集，第265-283页。 [2] H.Arbabi和I.Mezic，Ergodic理论，动态模式分解和koopman算子谱性质的计算，SIAM J.Appl。动态。系统。，16（2017），第2096-2126页·Zbl 1381.37096号 [3] H.Arbabi和I.Mezicí，使用koopman模式分解研究瞬态后流动的动力学，Phys。《流体评论》，2（2017），124402·Zbl 1381.37096号 [4] D.Arrowsmith和C.M.Place，《动力系统：微分方程、映射和混沌行为》，查普曼和霍尔/CRC数学。序列号。5，CRC出版社，佛罗里达州博卡拉顿，1992年·Zbl 0754.34001号 [5] T.Askham和J.N.Kutz，优化动态模式分解的变量投影方法，SIAM J.Appl。动态。系统。，17（2018），第380-416页·Zbl 1384.37122号 [6] D.M.Blei、A.Kucukelbir和J.D.McAuliffe，《变分推断：统计学家评论》，J.Amer。统计师。协会，112（2017），第859-877页。 [7] C.Blundell、J.Cornebise、K.Kavukcuoglu和D.Wierstra，神经网络中的重量不确定性，预印本，https://arxiv.org/abs/1505.05424，2015年。 [8] S.L.Brunton、B.W.Brunton，J.L.Proctor和J.N.Kutz，用于控制的非线性动力系统的Koopman不变子空间和有限线性表示，PloS One，11（2016），e01501·Zbl 1355.94013号 [9] S.L.Brunton、J.L.Proctor和J.N.Kutz，通过非线性动力系统的稀疏识别从数据中发现控制方程，Proc。国家。阿卡德。科学。美国，113（2016），第3932-3937页·Zbl 1355.94013号 [10] M.Budišicí和I.Mezicí，遍历商的几何揭示了流Phys中的相干结构。D、 241（2012），第1255-1269页·Zbl 1254.37010号 [11] M.Budišicí，R.Mohr和I.Mezicí，《应用科普马尼主义》，《混沌》，22（2012），047510·Zbl 1319.37013号 [12] B.Chang、M.Chen、E.Haber和E.H.Chi，《反对称RNN：递归神经网络的动态系统观》，预印本，https://arxiv.org/abs/1902.09689，2019年。 [13] B.Chang、L.Meng、E.Haber、L.Ruthotto、D.Begert和E.Holtham，任意深度剩余神经网络的可逆结构，载于2018年第32届AAAI人工智能会议论文集。 [14] 陈国凯、屠志浩、罗利，《动力模式分解变量：边界条件、koopman和傅里叶分析》，《非线性科学杂志》。，22（2012），第887-915页·兹比尔1259.35009 [15] A.J.Chorin、O.H.Hald和R.Kupferman，不可逆过程的最优预测和Mori-Zwanzig表示，Proc。国家。阿卡德。科学。，97（2000），第2968-2973页·Zbl 0968.60036号 [16] J.S.Denker和Y.Lecun，将神经网络输出水平转换为概率分布，《神经信息处理系统进展学报》，1991年，第853-859页。 [17] N.B.Erichson、M.Muehlebach和M.W.Mahoney，《Lyapunov稳定流体流量预测的物理信息自动编码器》，预印本，https://arxiv.org/abs/1905.10866，2019年。 [18] G.Froyland、G.A.Gottwald和A.Hammerlindl，提取多尺度系统中宏观变量及其动力学的计算方法，SIAM J.Appl。动态。系统。，13（2014），第1816-1846页·兹比尔13203.7012 [19] A.Gelman，层次模型中方差参数的先验分布，计量经济学，1（2006），第515-534页·Zbl 1331.62139号 [20] I.Goodfellow、Y.Bengio和A.Courville，《深度学习》，麻省理工学院出版社，马萨诸塞州剑桥，2016年·Zbl 1373.68009号 [21] A.Gouasmi、E.J.Parish和K.Duraisamy，使用Mori-Zwanzig形式主义对非线性系统降阶模型中记忆效应的先验估计，Proc。R.Soc.A，473（2017），20170385·Zbl 1402.76065号 [22] A.Graves，神经网络的实用变分推理，《神经信息处理系统进展学报》，2011年，第2348-2356页。 [23] J.Guckenheimer和P.Holmes，非线性振动，动力系统和向量场分岔，应用。数学。科学。42，施普林格，纽约，2013年·Zbl 0515.34001号 [24] E.Haber和L.Ruthotto，深度神经网络的稳定架构，逆向问题，34（2017），014004·Zbl 1426.68236号 [25] K.He、X.Zhang、S.Ren和J.Sun，图像识别的深度剩余学习，《IEEE计算机视觉和模式识别会议论文集》，2016年，第770-778页。 [26] I.N.Herstein，《代数主题》，施乐学院出版社，马萨诸塞州列克星敦，1975年·Zbl 1230.00004号 [27] G.Hinton和D.Van Camp，《通过最小化权重的描述长度保持神经网络简单化》，载于《第六届ACM计算学习理论年会论文集》，1993年。 [28] M.W.Hirsch、S.Smale和R.L.Devaney，《微分方程、动力系统和混沌导论》，学术出版社，纽约，2012年·Zbl 1135.37002号 [29] B.J Mercer，十六。正负型函数，及其与积分方程理论的联系，菲洛斯。事务处理。A、 209（1909），第415-446页·JFM 40.0408.02号文件 [30] H.Jasak、A.Jemcov和Z.Tukovic，《OpenFOAM:复杂物理模拟的C++库》，摘自国际数值动力学耦合方法研讨会，IUC，克罗地亚杜布罗夫尼克，2007年，第1-20页。 [31] E.Kaiser、J.N.Kutz和S.L.Brunton，数据驱动的Koopman特征函数控制发现，预印本，https://arxiv.org/abs/1707.01146, 2017. [32] H.K.Khalil，非线性系统，Prentice-Hall，Englewood Cliffs，新泽西州，1996年。 [33] D.P.Kingma和J.Ba，Adam：随机优化方法，预印本，https://arxiv.org/abs/1412.6980, 2014. [34] A.Klenke，《概率论：综合课程》，Springer，纽约，2013年·Zbl 1295.60001号 [35] S.Klus、P.Koltai和C.Schutte，关于Perron-Frobenius和Koopman算子的数值逼近，预印本，https://arxiv.org/abs/1512.05997, 2015. ·Zbl 1353.37154号 [36] B.Koopman和J.von Neumann，连续谱动力学系统，Proc。国家。阿卡德。科学。，18（1932），第255-263页·JFM 58.1272.02号 [37] B.O.Koopman，希尔伯特空间中的哈密顿系统和变换，Proc。国家。阿卡德。科学。，17（1931年），第315-318页·JFM 57.1010.02标准 [38] M.Korda和I.Mezicí，非线性动力系统的线性预测器：Koopman算子满足模型预测控制，预印本，https://arxiv.org/abs/1611.03537, 2016. ·兹比尔1400.93079 [39] M.Korda和I.Mezić，关于扩展动态模式分解到Koopman算子的收敛性，J.Nonlinear Sci。，28（2018），第687-710页·Zbl 1457.37103号 [40] A.Kucukelbir、D.Tran、R.Ranganath、A.Gelman和D.M.Blei，《自动微分变分推理》，J.Mach。学习。决议，18（2017），第430-474页·Zbl 1437.62109号 [41] Y.Lan和I.Mezicí，非线性系统中的线性化和koopman算子谱，Phys。D、 242（2013），第42-53页·Zbl 1260.34073号 [42] M.Leshno、V.Y.Lin、A.Pinkus和S.Schocken，具有非多项式激活函数的多层前馈网络可以近似任何函数，《神经网络》，6（1993），第861-867页。 [43] Q.Li、F.Dietrich、E.M.Boltt和I.G.Kevrekidis，《字典学习的扩展动态模式分解：koopman算子的数据驱动自适应谱分解》，《混沌》，27（2017），103111·Zbl 06876982号 [44] Q.Liu和D.Wang，Stein变分梯度下降：通用贝叶斯推理算法，摘自《神经信息处理系统进展》29，D.D.Lee，M.Sugiyama，U.V.Luxburg，I.Guyon和R.Garnett，eds.，Curran Associates，2016年，第2378-2386页，http://papers.nips.cc/paper/6338-stein-variational-gradient-descent-a-general-purpose-bayesian-inference-algorithm.pdf。 [45] Q.Liu和D.Wang，Stein变分梯度下降作为矩匹配，《神经信息处理系统学报》，2018年，第8854-8863页。 [46] J.Lu，Y.Lu和J.Nolen，Stein变分梯度下降的标度极限：平均场状态，SIAM J.Math。分析。，51（2019年），第648-671页·Zbl 1417.35189号 [47] D.G.Luenberger，《线性和非线性规划导论》，Addison-Wesley，Reading，MA，1973年·Zbl 0297.90044号 [48] B.Lusch、J.N.Kutz和S.L.Brunton，非线性动力学通用线性嵌入的深度学习，自然通讯。，9 (2018), 4950. [49] D.J.MacKay，反向传播网络的实用贝叶斯框架，神经计算。，4（1992年），第448-472页。 [50] A.Mauroy和I.Mezicí，《关于使用傅里叶平均值计算（准）周期动力学的全球等时线》，《混沌》，22（2012），033112·Zbl 1319.70024号 [51] M.D.McKay、R.J.Beckman和W.J.Conover，计算机代码输出分析中选择输入变量值的三种方法的比较，技术计量学，21（1979），第239-245页·Zbl 0415.62011号 [52] A.Meucci，《统计套利、协整和多元Ornstein-Uhlenbeck评论》，SSRN，https://ssrn.com/abstract=1404905, 2009. [53] C.D.Meyer，矩阵分析和应用线性代数，SIAM，费城，2000年·Zbl 0962.15001号 [54] I.Mezicí，动力学系统的谱特性，模型简化和分解，非线性动力学。，41（2005），第309-325页·Zbl 1098.37023号 [55] I.Mezicí，通过koopman算子的光谱特性分析流体流动，Annu。流体力学版次。，45（2013），第357-378页·Zbl 1359.76271号 [56] I.Mezicí，《关于koopman算子谱理论在动力系统和控制理论中的应用》，载于IEEE第54届决策与控制年会论文集，IEEE，2015年，第7034-7041页。 [57] I.Mezicí和S.Wiggins，基于遍历划分的动力学系统不变集可视化方法，混沌，9（1999），第213-218页·兹比尔0987.37080 [58] J.Morton、F.D.Witherden和M.J.Kochenderfer，《深度变分库普曼模型：推断库普曼观测值用于不确定性感知动力学建模和控制》，预印本，https://arxiv.org/abs/1992.09742，2019年。 [59] R.M.Neal，神经网络贝叶斯学习，统计学课堂讲稿。纽约施普林格118号，2012年·Zbl 0888.62021号 [60] S.E.Otto和C.W.Rowley，学习动力学的线性递归自动编码器网络，SIAM J.Appl。动态。系统。，18（2019），第558-593页·Zbl 1489.65164号 [61] S.Pan和K.Duraisamy，数据驱动的封闭模型发现，预印本，https://arxiv.org/abs/1803.09318, 2018. ·Zbl 1411.70023号 [62] S.Pan和K.Duraisamy，《关于嵌入非线性动力系统线性模型的时间延迟结构》，预印本，https://arxiv.org/abs/1902.05198, 2019. ·Zbl 1453.37089号 [63] E.J.Parish和K.Duraisamy，基于mori-zwanzig形式主义的大涡模拟动态亚网格模型，J.Compute。物理。，349（2017），第154-175页·Zbl 1380.76024号 [64] E.J.Parish和K.Duraisamy，使用mori-zwanzig形式主义进行大涡模拟的非马尔可夫闭合模型，Phys。《流体评论》，2（2017），014604·Zbl 1380.76024号 [65] N.G.Polson和J.G.Scott，关于全球尺度参数的半柯西先验，贝叶斯分析。，7（2012年），第887-902页·Zbl 1330.62148号 [66] J.L.Proctor、S.L.Brunton和J.N.Kutz，将Koopman理论推广到允许输入和控制，SIAM J.Appl。动态。系统。，17（2018），第909-930页·Zbl 1390.93226号 [67] P.Ramachandran、B.Zoph和Q.V.Le，《搜索激活函数》，预印本，https://arxiv.org/abs/1710.05941, 2017. [68] S.M.Ross、J.J.Kelly、R.J.Sullivan、W.J.Perry、D.Mercer、R.M.Davis、T.D.Washburn、E.V.Sager、J.B.Boyce和V.L.Bristow，《随机过程》，第2卷，威利出版社，纽约，1996年。 [69] C.W.Rowley、I.Mezicí、S.Bagheri、P.Schlater和D.S.Henningson，非线性流的谱分析，J.流体力学。，641（2009），第115-127页·Zbl 1183.76833号 [70] 施密德，数值和实验数据的动态模式分解，流体力学。，656（2010），第5-28页·Zbl 1197.76091号 [71] P.J.Schmid、L.Li、M.Juniper和O.Pust，动态模式分解的应用，理论。计算。《流体动力学》，25（2011），第249-259页·Zbl 1272.76179号 [72] J.Shi、S.Sun和J.Zhu，内核隐式变分推理，《学习表征国际会议论文集》，2018年。 [73] N.Takeishi、Y.Kawahara和T.Yairi，学习动态模式分解的Koopman不变子空间，《神经信息处理系统进展学报》，2017年，第1130-1140页。 [74] D.Tran、A.Kucukelbir、A.B.Dieng、M.Rudolph、D.Liang和D.M.Blei，Edward:概率建模、推理和批评、预印本、，https://arxiv.org/abs/11610.099787, 2016. [75] V.Vapnik，学习理论的风险最小化原理，《神经信息处理系统进展论文集》，1992年，第831-838页。 [76] V.N.Vapnik和A.Y.Chervonenkis，《关于事件相对频率与其概率的一致收敛》，《复杂性度量》，施普林格，纽约，2015年，第11-30页·Zbl 1337.60009号 [77] C.Wehmeyer和F.Noeí，《时间标记自动编码器：分子动力学缓慢集体变量的深度学习》，J.Chem。物理。，148 (2018), 241703. [78] S.Wiggins，《应用非线性动力系统和混沌导论》，第2卷，施普林格出版社，纽约，2003年·Zbl 1027.37002号 [79] M.O.Williams、I.G.Kevrekidis和C.W.Rowley，《Koopman算子的数据驱动近似：扩展动态模式分解》，《非线性科学杂志》。，25（2015），第1307-1346页·Zbl 1329.65310号 [80] M.O.Williams、C.W.Rowley和I.G.Kevrekidis，基于内核的数据驱动Koopman光谱分析方法，预印本，https://arxiv.org/abs/1411.2260, 2014. ·Zbl 1366.37144号 [81] E.Yeung、S.Kundu和N.Hodas，学习非线性动力系统Koopman算子的深度神经网络表示，预印本，https://arxiv.org/abs/1708.06850, 2017. [82] C.Zhang、J.Butepage、H.Kjellstrom和S.Mandt，变分推理进展，IEEE Trans。模式分析。机器智能。，41（2019），第2008-2026页，https://doi.org/10.1109/TPAMI.2018.2889774。 [83] Y.Zhu和N.Zabaras，用于代理建模和不确定性量化的贝叶斯深度卷积编解码网络，J.Compute。物理。，366（2018），第415-447页·Zbl 1407.62091号 [84] Y.Zhu、N.Zabaras、P.-S.Koutsourelakis和P.Perdikaris，《无标记数据的高维替代建模和不确定性量化的物理约束深度学习》，预印本，https://arxiv.org/abs/1901.06314, 2019. ·Zbl 1452.68172号 [85] J.Zhoo，C.Liu，J.Shi，J.Zhu，N.Chen，B.Zhang，信息传递Stein变分梯度下降，https://arxiv.org/abs/1711.04425, 2017. 此参考列表基于出版商或数字数学图书馆提供的信息。它的项目与zbMATH标识符启发式匹配，并且可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。