尼古拉斯，日内瓦;尼古拉斯·扎巴拉斯 用物理约束的深度自回归网络建模PDE系统的动力学。 （英语） Zbl 1454.65130号 J.计算。物理学。 403，文章ID 109056，32 p.（2020）. 摘要：近年来，深度学习已被证明是大量物理系统的替代建模和不确定性量化的可行方法。然而，在传统形式下，此类模型可能需要大量的训练数据。这对于获取数据可能非常昂贵的各种工程和科学应用尤其重要。为了克服这一缺点，物理约束的深度学习提供了一种很有前途的方法，因为它只使用控制方程。在这项工作中，我们提出了一种新的自回归密集编解码卷积神经网络，用于在不需要训练数据的情况下求解和建模非线性动力学系统，其计算成本可能低于标准数值求解器。该模型包括一个贝叶斯框架，允许在每个时间步长对预测的感兴趣量进行不确定性量化。我们在几个非线性瞬态偏微分方程系统上对该模型进行了严格测试，包括Kuramoto-Sivashinsky方程的湍流、多激波的形成以及与一维Burgers方程的相互作用，以及与耦合Burgers方程式的二维波动力学。对于每个系统，给出并讨论了预测结果和不确定性，并与传统数值分析方法的结果进行了比较。 引用于34文件 MSC公司： 65M99型 偏微分方程、初值和含时初边值问题的数值方法 35问题35 与流体力学相关的PDE 68T07型 人工神经网络与深度学习 关键词：基于物理的机器学习;自回归模型;深度神经网络;卷积编解码器;不确定性量化;动力学偏微分方程 软件：FEniCS公司;PRMLT公司;DGM公司;PyTorch公司;张紧器2传感器;亚当 PDF格式BibTeX公司 XML格式引用 \textit{N.Geneva}和\textit{N.Zabaras}，J.Compute。物理学。403，文章ID 109056，32 p.（2020；Zbl 1454.65130） 全文： 内政部 arXiv公司 参考文献： [1] LeCun，Y。；Y.本吉奥。；Hinton，G.，《深度学习》，《自然》，521，7553，436（2015） [2] Zhu，Y。；Zabaras，N.，《替代建模和不确定性量化的贝叶斯深度卷积编解码网络》，J.Compute。物理。，366, 415-447 (2018) ·Zbl 1407.62091号 [3] Zhu，Y。；北卡罗来纳州扎巴拉斯。；Koutsourelakis，P.-S。；Perdikaris，P.，《无标记数据的高维代理建模和不确定性量化的物理约束深度学习》，J.Compute。物理。，394, 56-81 (2019) ·Zbl 1452.68172号 [4] Tripathy，R.K。；Bilionis，I.，《深度UQ：用于高维不确定性量化的学习深度神经网络代理模型》，计算杂志。物理。，375, 565-588 (2018) ·兹伯利1419.68084 [5] 杨，C。；杨，X。；Xiao，X.，流体模拟中的数据驱动投影方法，计算机。动画。虚拟世界，27，3-4，415-424（2016） [6] 日内瓦，N。；Zabaras，N.，《利用贝叶斯深度神经网络量化雷诺平均湍流模型中的模型形式不确定性》，J.Compute。物理。，383, 125-147 (2019) ·Zbl 1451.76059号 [7] Schöberl，M。；北卡罗来纳州扎巴拉斯。；Koutsourelakis，P.-S.，《深度贝叶斯模型预测集体变量发现》，J.Chem。物理。，第150、2条，第024109页（2019年） [8] 麦凯，D.J.，《反向传播网络的实用贝叶斯框架》，神经计算。，4, 3, 448-472 (1992) [9] Neal，R.M.，《神经网络贝叶斯学习》，第118卷（2012），施普林格科学与商业媒体 [10] Psichogios，哥伦比亚特区。；Ungar，L.H.，过程建模的混合神经网络第一原理方法，AIChE J.，38，10，1499-1511（1992） [11] 米德·A·J。；Fernandez，A.A.，线性常微分方程的前馈神经网络数值解，数学。计算。型号。，19, 12, 1-25 (1994) ·Zbl 0807.65079号 [12] 米德，A。；Fernandez，A.，用前馈神经网络求解非线性常微分方程，数学。计算。型号。，20, 9, 19-44 (1994) ·Zbl 0818.65077号 [13] 拉加里斯，I.E。；利卡斯，A。；Fotiadis，D.I.，求解常微分方程和偏微分方程的人工神经网络，IEEE Trans。神经网络。，9, 5, 987-1000 (1998) [14] 拉加里斯，I.E。；利卡斯，A.C。；Papageorgiou，D.G.，不规则边界边值问题的神经网络方法，IEEE Trans。神经网络。，11, 5, 1041-1049 (2000) [15] 莱斯，M。；佩尔迪卡里斯，P。；Karniadakis，G.，《基于物理的神经网络：用于解决涉及非线性偏微分方程的正向和反向问题的深度学习框架》，J.Compute。物理。，378, 686-707 (2019) ·Zbl 1415.68175号 [16] 伯格，J。；Nyström，K.，复杂几何偏微分方程的统一深度人工神经网络方法，神经计算，317，28-41（2018） [17] E、 W。；Yu，B.，The deep Ritz method：一种基于深度学习的数值算法，用于求解变分问题，Commun。数学。统计，6，1，1-12（2018）·Zbl 1392.35306号 [18] Nabian，医学硕士。；Meidani，H.，高维随机偏微分方程的深度神经网络代理，CoRR abs/1806.02957 [19] 南卡鲁穆里。；Tripathy，R。；Bilinis，I。；Panchal，J.，使用深度神经网络的高维随机椭圆偏微分方程的无模拟解，预印本·Zbl 1453.65021号 [20] 西里尼亚诺，J。；Spiliopoulos，K.，DGM：求解偏微分方程的深度学习算法，J.Comput。物理。，375, 1339-1364 (2018) ·Zbl 1416.65394号 [21] Grohs，P。；Hornung，F。；Jentzen，A。；Von Wurstemberger，P.，人工神经网络在Black-Scholes偏微分方程数值逼近中克服维数灾难的证明，预印本·Zbl 07679303号 [22] Khoo，Y。；Lu，J。；Ying，L.，使用人工神经网络求解高维承诺函数，研究数学。科学。，6, 1, 1 (2018) ·Zbl 1498.60222号 [23] 丁，L。；Sohl Dickstein，J.等人。；Bengio，S.，使用实际NVP进行密度估计，CoRR [24] He，K。；张，X。；任，S。；Sun，J.，图像识别的深度剩余学习（2015），abs/1512.03385 [25] 菲利波夫，V.M。；萨维奇，V.M。；Shorokhov，S.G.，《非势算符的变分原理》，J.Math。科学。，68, 275-398 (1994), https://doi.org/10.1007/BF01252319 ·Zbl 0835.58012号 [26] A.拉斯顿。；Rabinowitz，P.，数值分析第一课程（2001），Courier Corporation·Zbl 0976.65001号 [27] 帕斯卡努，R。；Mikolov，T。；Bengio，Y.，《关于训练递归神经网络的困难》（第30届国际机器学习会议论文集，第28卷）。《第三十届国际机器学习会议论文集》，第28卷，ICML’13（2013），JMLR.org，1310-1318 [28] Hochreiter，S。；Schmidhuber，J.，长短期记忆，神经计算。，9, 8, 1735-1780 (1997) [29] 杜勇；Wang，W。；Wang，L.，基于骨架的动作识别的层次递归神经网络，（2015 IEEE计算机视觉和模式识别会议，2015 IEEE电脑视觉和模式辨识会议，CVPR（2015）），1110-1118 [30] Kim，Y。；丹顿，C。；Hoang，L。；Rush，A.M.，结构化注意力网络，CoRR [31] 瓦斯瓦尼，A。；北沙泽尔。；北卡罗来纳州帕尔马。；Uszkoreit，J。；Jones，L。；A.N.戈麦斯。；u.Kaiser，L。；Polosukhin，I.，《注意力就是你所需要的一切》（Guyon，I.；Luxburg，U.V.；Bengio，S.；Wallach，H.；Fergus，R.；Vishwanathan，S.，Garnett，R.，《神经信息处理系统的进展》，第30卷（2017），Curran Associates，Inc.），5998-6008（2017） [32] 古德费罗，I。；Y.本吉奥。；A.Courville，《深度学习》（2016），麻省理工学院出版社·Zbl 1373.68009号 [33] Bronstein，M.M。；布鲁纳，J。；LeCun，Y。；Szlam，A。；Vandergheynst，P.，《几何深度学习：超越欧几里德数据》，IEEE信号处理。Mag.，34，4，18-42（2017） [34] LeVeque，R.J.，常微分方程和偏微分方程的有限差分方法：稳态和时间相关问题，第98卷（2007），SIAM·Zbl 1127.65080号 [35] 萨阿德，Y。；Schultz，M.H.，GMRES:求解非对称线性系统的广义最小残差算法，SIAM J.Sci。统计计算。，7, 3, 856-869 (1986) ·Zbl 0599.65018号 [36] 巴坦卡，S.V。；Spalding，D.B.，三维抛物线流中热量、质量和动量传递的计算程序，（流动、传热、湍流和燃烧的数值预测（1983），佩加蒙），54-73 [37] Paszke，A。；毛重，S。；钦塔拉，S。；Chanan，G。；杨，E。；德维托，Z。；林，Z。；Desmaison，A。；安提瓜，L。；Lerer，A.，《PyTorch中的自动区分》（NIPS Autodiff Workshop（2017）） [38] Ling，J。；Kurzawski，A。；Templeton，J.，使用嵌入不变性的深度神经网络进行雷诺平均湍流建模，J.流体力学。，807, 155-166 (2016) ·Zbl 1383.76175号 [39] Raissi，M.，《深层隐藏物理模型：非线性偏微分方程的深层学习》，J.Mach。学习。第19、1932-955号决议（2018年）·Zbl 1439.68021号 [40] Yang，Y。；Perdikaris，P.，《物理信息神经网络中的对抗不确定性量化》，J.Compute。物理。，394, 136-152 (2019) ·Zbl 1452.68171号 [41] 肯德尔，A。；Gal，Y.，我们在计算机视觉的贝叶斯深度学习中需要哪些不确定性？，（Guyon，I.；Luxburg，U.V.；Bengio，S.；Wallach，H.；Fergus，R.；Vishwanathan，S.，Garnett，R.，《神经信息处理系统进展》，第30卷（2017），Curran Associates，Inc.），5574-5584 [42] Gal，Y.，《深度学习中的不确定性》（2016），剑桥大学博士论文 [43] Iserles，A.，《微分方程数值分析第一课程》，剑桥应用数学教材，第44卷（2008），剑桥大学出版社 [44] Bishop，C.M.，模式识别和机器学习（信息科学和统计）（2006年），Springer-Verlag New York，Inc.：Springer-Verlag New Yeork，Inc，美国新泽西州Secaucus·Zbl 1107.68072号 [45] Richardson，L.F。；冈特，J.A.，VIII。延迟接近极限，菲洛斯。事务处理。R.Soc.伦敦。序列号。A、 226636-646299-361（1927），包含数学或物理性质的论文 [46] Oliver，T.A。；马来亚州。；尤利希，R。；Moser，R.D.，《估算直接数值模拟计算的统计数据中的不确定性》，Phys。流体，第26、3条，第035101页（2014年） [47] Tipping，M.E.，稀疏贝叶斯学习和相关向量机，J.Mach。学习。决议，1211-244（2001年6月）·兹比尔0997.68109 [48] Kingma，D.P。；Ba，J.，Adam：一种随机优化方法，预印本 [49] 洛希洛夫，I。；Hutter，F.，《Adam中的固定权重衰减正则化》，CoRR abs/1711.05101 [50] 医学博士理查德。；李普曼，R.P.，神经网络分类器估计贝叶斯后验概率，神经计算。，3, 4, 461-483 (1991) [51] 巴伯，D。；Bishop，C.M.，贝叶斯神经网络中的集成学习，北约ASI计算机和系统科学系列，第168卷，215-238（1998）·Zbl 0936.68082号 [52] 布伦德尔，C。；科内比斯，J。；Kavukcuoglu，K。；Wierstra，D.，神经网络中的重量不确定性，预印本 [53] Gal，Y。；Ghahramani，Z.，《作为贝叶斯近似的辍学：表示深度学习中的模型不确定性》，（第33届国际机器学习会议论文集，第48卷）。第33届国际机器学习会议记录，第48卷，ICML’16（2016），JMLR.org），1050-1059 [54] 刘，Q。；Wang，D.，Stein变分梯度下降：通用贝叶斯推理算法，（Lee，D.D.；Sugiyama，M.；Luxburg，U.V.；Guyon，I.；Garnett，R.，《神经信息处理系统的进展》，第29卷（2016），Curran Associates，Inc.），2378-2386 [55] 马多克斯，W。；加里波夫，T。；伊兹迈洛夫，P。；Vetrov，D.P。；Wilson，A.G.，深度学习中贝叶斯不确定性的简单基线，CoRR abs/1902.02476 [56] Ruppert，D.，《从缓慢收敛的Robbins-Monro过程中进行有效估计》（1988），康奈尔大学运筹与工业工程技术代表。 [57] 波利亚克，B。；Juditsky，A.，通过平均加速随机近似，SIAM J.控制优化。，30, 4, 838-855 (1992) ·Zbl 0762.62022号 [58] 伊兹迈洛夫，P。；波多里钦，D。；加里波夫，T。；Vetrov，D.P。；Wilson，A.G.，平均权重导致更广泛的优化和更好的泛化，CoRR abs/1803.05407 [59] 海曼，J.M。；Nicolaenko，B.，《Kuramoto-Sivashinsky方程：PDE与动力系统之间的桥梁》，《物理D：非线性现象》。，18, 1, 113-126 (1986) ·Zbl 0602.58033号 [60] 海曼，J.M。；尼古兰科，B。；Zaleski，S.，弱湍流界面Kuramoto-Sivashinsky模型中的顺序和复杂性，物理D：非线性现象。，23, 1, 265-292 (1986) ·Zbl 0621.76065号 [61] Wittenberg，R.W。；Holmes，P.，《Kuramoto-Sivashinsky方程中的尺度和空间局部化》，《混沌》，Interdisc。非线性科学杂志。，9, 2, 452-465 (1999) [62] 拉奎，R.E。；马哈詹，S.M。；卢瑟福，P.H。；Tang，W.M.，陷阱离子模式的非线性饱和，物理学。修订稿。，34, 391-394 (1975) [63] Kuramoto，Y。；Tsuzuki，T.，远离热平衡的耗散介质中浓度波的持续传播，Prog。西奥。物理。，55, 2, 356-369 (1976) [64] 迈克尔逊，D。；Sivashinsky，G.，层流火焰中流体动力不稳定性的非线性分析，II：数值实验，《宇航员学报》。，4, 11, 1207-1221 (1977) ·Zbl 0427.76048号 [65] 考克斯，S。；Matthews，P.，刚性系统的指数时间差分，J.Compute。物理。，176, 2, 430-455 (2002) ·Zbl 1005.65069号 [66] Pathak，J。；卢，Z。；亨特，B.R。；Girvan，M。；Ott，E.，《使用机器学习复制混沌吸引子并从数据中计算Lyapunov指数》，《混沌：跨学科》，国际期刊《非线性科学》。，第27、12条，第121102页（2017年）·Zbl 1390.37138号 [67] Brummitt，C.D。；Sprott，J.，《寻找最简单的混沌偏微分方程》，Phys。莱特。A、 373、31、2717-2721（2009）·Zbl 1232.35034号 [68] Whitham，G.B.，《线性和非线性波》，第42卷（2011年），John Wiley&Sons [69] 潘，S。；Duraisamy，K.，使用神经网络对非线性动力系统进行长期预测建模，复杂性（2018） [70] Alns，医学硕士。；布莱希塔，J。；Hake，J。；Johansson，A。；Kehlet，B。；Logg，A。；Richardson，C。；Ring，J。；罗杰斯，M.E。；Wells，G.N.，FEniCS项目1.5版，Arch。数字。软质。，3, 100, 9-23 (2015) [71] 阿里，A。；ul Islam，S。；Haq，S.，用于二维耦合Burgers方程数值解的计算无网格技术，Int.J.Comput。方法工程科学。机械。，10, 5, 406-422 (2009) ·Zbl 1423.35303号 [72] Nee，J。；Duan，J.，耦合粘性Burgers方程轨迹的极限集，应用。数学。莱特。，11, 1, 57-61 (1998) ·Zbl 1076.35537号 [73] I.Sobel，G.Feldman，用于图像处理的（3乘3）各向同性梯度算子，1968年，在斯坦福人工智能项目的演讲中介绍，第271-272页，1968。 [74] 洛夫，S。；Szegedy，C.，Batch normalization：通过减少内部协变量偏移加快深层网络训练，预打印 [75] 格洛洛特，X。；Bordes，A。；Bengio，Y.，深度稀疏整流神经网络，（Gordon，G.；Dunson，D.；Dudík，M.，《第十四届国际人工智能与统计会议论文集》，第十四届世界人工智能与统计学会议论文集，《机器学习研究论文集》第15卷（2011），PMLR：美国佛罗里达州劳德代尔堡PMLR），315-323 [76] Cvitanović，P。；Davidchack，R。；Siminos，E.，关于周期域中Kuramoto-Sivashinsky流的状态空间几何，SIAM J.Appl。动态。系统。，9, 1, 1-33 (2010) ·Zbl 1267.35027号 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。