任、浦;饶成平;刘，杨;王建勋;孙浩 PhyCRNet：用于解决时空PDE的基于物理的卷积递归网络。 （英语） Zbl 1507.65209号 计算。方法应用。机械。工程师。 389，文章ID 114399，21 p.（2022）. 概述：偏微分方程（PDE）在建模和模拟各种学科中的问题方面发挥着基本作用。深度学习的最新进展表明，物理信息神经网络（PINNs）在解决PDE方面具有巨大潜力，可以作为数据驱动建模和反分析的基础。然而，现有的大多数基于全连通神经网络的PINN方法对低维时空参数化具有固有的局限性。此外，由于初始/边界条件（I/BC）是通过惩罚软施加的，因此解的质量在很大程度上依赖于超参数调整。为此，我们提出了一种新的基于物理信息的卷积递归学习体系结构（PhyCRNet和PhyCRNet-s），用于在没有任何标记数据的情况下求解偏微分方程。具体而言，提出了一种用于低维空间特征提取和时间演化学习的编码器-解码器卷积长短期记忆网络。损失函数被定义为聚合离散PDE残差，而I/BC在网络中被硬编码以确保强制满足（例如，周期性边界填充）。通过显式模拟时间推进的自回归和残差连接进一步增强了网络。通过求解三个非线性偏微分方程（例如，2D Burgers方程、（lambda）-\（omega）和FitzHugh Nagumo反应扩散方程）来评估我们提出的方法的性能，并与最新的基线算法进行比较。数值结果证明了我们提出的方法在求解精度、外推性和可推广性方面的优越性。 引用于16文件 MSC公司： 65M99型 偏微分方程、初值和含时初边值问题的数值方法 68T07型 人工神经网络与深度学习 关键词：卷积递归学习;偏微分方程;编解码器;基于物理的深度学习;剩余连接;I/BC的硬编码 软件：NSF网络;PyTorch公司;亚当;DeepONet（深度网络）;火炬差异;PDE-网络;深XDE;L-BFGS公司;物理有线电视新闻网;PhyGeoNet（物理地理网）;DiscretizationNet公司;转换PDE-UQ;PhyCRNet（物理CRNet） PDF格式BibTeX公司 XML格式引用 \textit{P.Ren}等人，计算。方法应用。机械。工程389，文章ID 114399，21 p.（2022；Zbl 1507.65209） 全文： 内政部 arXiv公司 参考文献： [1] Hughes，T.J.，《有限元方法：线性静态和动态有限元分析》（2012），Courier Corporation [2] 休斯·T·J。；Cottrell，J.A。；Bazilevs，Y.，等几何分析：CAD，有限元，NURBS，精确几何和网格细化，计算。方法应用。机械。工程，194，39-41，4135-4195（2005）·Zbl 1151.74419号 [3] 霍尼克，K。；Stinchcombe，M。；White，H.，多层前馈网络是通用逼近器，神经网络。，2, 5, 359-366 (1989) ·Zbl 1383.92015年 [4] 拉加里斯，I.E。；利卡斯，A。；Fotiadis，D.I.，求解常微分方程和偏微分方程的人工神经网络，IEEE Trans。神经网络。，9, 5, 987-1000 (1998) [5] 拉加里斯，I.E。；利卡斯，A.C。；Papageorgiou，D.G.，不规则边界边值问题的神经网络方法，IEEE Trans。神经网络。，11, 5, 1041-1049 (2000) [6] 欢，X。；Marzouk，Y.M.，非线性系统基于仿真的最佳贝叶斯实验设计，J.Compute。物理。，232, 1, 288-317 (2013) [7] Han，J。；Jentzen，A。；Weinan，E.，使用深度学习求解高维偏微分方程，Proc。国家。阿卡德。科学。，115, 34, 8505-8510 (2018) ·Zbl 1416.35137号 [8] 张杰。；Shields，M.D.，先验概率对小数据集产生的不精确概率的量化和传播的影响，Comput。方法应用。机械。工程，334483-506（2018）·Zbl 1440.62099号 [9] 莱斯，M。；佩迪卡里斯，P。；Karniadakis，G.E.，《基于物理的神经网络：解决涉及非线性偏微分方程的正问题和逆问题的深度学习框架》，J.Compute。物理。，378, 686-707 (2019) ·Zbl 1415.68175号 [10] 纽约州巴尔西奈。；霍耶，S。；希基，J。；Brenner，M.P.，学习偏微分方程的数据驱动离散化，Proc。国家。阿卡德。科学。，116, 31, 15344-15349 (2019) ·Zbl 1431.65195号 [11] 张杰。；Shields，M.D.，《贝叶斯更新概率测度变化的高效蒙特卡罗重采样》，Probab。工程机械。，55, 54-66 (2019) [12] Zhu，Y。；Zabaras，N.，BayesIan深度卷积编码器-解码器网络，用于代理建模和不确定性量化，J.Compute。物理。，366, 415-447 (2018) ·兹比尔1407.62091 [13] 布伦顿，S.L。；Noack，B.R。；Koumoutsakos，P.，《流体力学的机器学习》，年。流体力学版次。，52, 477-508 (2020) ·Zbl 1439.76138号 [14] Gorodetsky，A.A。；Jakeman，J.D。；Geraci，G。；Eldred，M.S.，MFNets:用于贝叶斯学习和预测的多精度数据驱动网络，《国际不确定性杂志》。数量。，10, 6 (2020) ·Zbl 1498.68237号 [15] Wang，Z。；欢，X。；Garikipati，K.，《控制材料微观结构演化的偏微分方程的变分系统识别：稀疏和空间无关数据的推断》，计算。方法应用。机械。工程，377，第113706条pp.（2021） [16] Raissi，M.，《深层隐藏物理模型：非线性偏微分方程的深层学习》，J.Mach。学习。第19、1932-955号决议（2018年）·Zbl 1439.68021号 [17] 莱斯，M。；Wang，Z。；Triantafylou，M.S。；Karniadakis，G.E.，《涡激振动的深度学习》，《流体力学杂志》。，861, 119-137 (2019) ·Zbl 1415.76177号 [18] 莱斯，M。；亚兹达尼，A。；Karniadakis，G.E.，《隐藏流体力学：从流动可视化中学习速度和压力场》，《科学》，367，6481，1026-1030（2020）·Zbl 1478.76057号 [19] 秦，T。；Wu，K。；Xiu，D.，使用深度神经网络的数据驱动控制方程近似，J.Compute。物理。，395, 620-635 (2019) ·Zbl 1455.65125号 [20] Samaniego，E。；Anitescu，C。；Goswami，S。；Nguyen-Thanh，V.M。；郭，H。；Hamdia，K。；庄，X。；Rabczuk，T.，通过机器学习解决计算力学中偏微分方程的能量方法：概念、实现和应用，计算。方法应用。机械。工程师，362，第112790条，第（2020）页·Zbl 1439.74466号 [21] Sun，L。；Wang，J.-X.，利用稀疏和噪声数据重建流体流动的物理约束贝叶斯神经网络，Theor。申请。机械。莱特。，10, 3, 161-169 (2020) [22] Rao，C。；孙，H。；Liu，Y.，物理学为不可压缩层流的深度学习提供了信息，Theor。申请。机械。莱特。，10, 3, 207-212 (2020) [23] Sun，L。；高，H。；潘，S。；Wang，J.-X.，基于物理约束的无模拟数据深度学习的流体流动替代建模，计算。方法应用。机械。工程，361，第112732条pp.（2020）·Zbl 1442.76096号 [24] Rao，C。；孙，H。；Liu，Y.，Physics-informed deep learning for computational弹性动力学无标记数据，J.Eng.Mech。，147，8，第04021043条pp.（2021） [25] 杨，X。；扎法尔，S。；王建新。；Xiao，H.，通过物理信息神经网络进行预测性大剂量模拟墙建模，Phys。流体版本，第4、3条，第034602页（2019年） [26] 金，X。；蔡，S。；李，H。；Karniadakis，G.E.，NSFnets（Navier-Stokes Flow nets）：不可压缩Navier-Stokes方程的物理信息神经网络，J.Compute。物理。，426，第109951条pp.（2021）·Zbl 07510065号 [27] 毛，Z。；雅格塔普，A.D。；Karniadakis，G.E.，《高速流动的物理信息神经网络》，计算。方法应用。机械。工程师，360，第112789条，第（2020）页·Zbl 1442.76092号 [28] Wessels，H。；魏恩费尔斯，C。；Wriggers，P.，《神经粒子方法——更新的拉格朗日物理学为计算流体动力学的神经网络提供了信息》，Compute。方法应用。机械。工程，368，第113127条pp.（2020）·Zbl 1506.76136号 [29] Haghighat，E。；莱斯，M。；A.穆尔。；戈麦斯，H。；Juanes，R.，《固体力学反演和替代建模的基于物理的深度学习框架》，计算。方法应用。机械。工程，379，第113741条pp.（2021）·Zbl 1506.74476号 [30] 张，D。；卢，L。；郭，L。；Karniadakis，G.E.，《量化物理信息神经网络中用于解决正向和反向随机问题的总不确定性》，J.Compute。物理。，397，第108850条pp.（2019）·Zbl 1454.65008号 [31] 张，D。；郭，L。；Karniadakis，G.E.，《模态空间中的学习：使用物理信息神经网络求解时间相关随机偏微分方程》，SIAM J.Sci。计算。，42、2、A639-A665（2020）·Zbl 1440.60067号 [32] 基萨斯，G。；Yang，Y。；Hwuang，E。；Witschey，W.R。；Detre，J.A。；Perdikaris，P.，《心血管血流建模中的机器学习：使用物理信息神经网络从无创4D流MRI数据预测动脉血压》，计算机。方法应用。机械。工程师，358，第112623条，第（2020）页·Zbl 1441.76149号 [33] 蔡，S。；李，H。；郑，F。；孔，F。；道，M。；Karniadakis，G.E。；Suresh，S.，《生理学和疾病中三维血流分析的人工智能测速和芯片上微动脉》，Proc。国家。阿卡德。科学。，118, 13 (2021) [34] Shukla，K。；Di Leoni，P.C.（迪列奥尼，P.C.）。；J·布莱克郡。；斯帕克曼，D。；Karniadakis，G.E.，《表面断裂裂纹超声无损定量物理信息神经网络》，J.Nondestrust。评估。，39, 3, 1-20 (2020) [35] 尹，M。；郑，X。；汉弗莱，J.D。；Karniadakis，G.E.，利用物理信息神经网络对血栓材料特性的非侵入性推断，计算机。方法应用。机械。工程，375，第113603条pp.（2021）·Zbl 1506.74215号 [36] 卢，L。；道，M。；库马尔，P。；Ramamurty，美国。；Karniadakis，G.E。；Suresh，S.，通过仪器压痕深度学习提取材料的机械性能，Proc。国家。阿卡德。科学。，117, 13, 7052-7062 (2020) [37] 张，R。；刘，Y。；Sun，H.，用于数据驱动地震响应建模的物理引导卷积神经网络（PhyCNN），工程结构。，215，第110704条pp.（2020） [38] 张，R。；刘，Y。；Sun，H.，Physics-informated multi-LSTM networks for metamodeling of normal structures，Compute.《非线性结构元建模的物理多LSTM网络》。方法应用。机械。工程，369，第113226条pp.（2020）·Zbl 1506.74004号 [39] 何，Q。；Chen，J.-S.，一种基于局部凸重建的物理约束数据驱动方法，用于噪声数据库，计算。方法应用。机械。工程，363，第112791条pp.（2020）·Zbl 1436.62725号 [40] 陈，Z。；刘，Y。；Sun，H.，《基于稀缺数据的控制方程物理学习》（2020），arXiv-arXiv:2005.03448 [41] 高，H。；Sun，L。；Wang，J.-X.，PhyGeoNet:PHysics-informed geometry-adaptive卷积神经网络，用于求解不规则域上的参数化稳态偏微分方程，J.Compute。物理。，第110079条pp.（2020） [42] 巴塔查亚，K。；侯赛尼，B。；科瓦奇奇，N.B。；Stuart，A.M.，参数pde的模型简化和神经网络（2020），arXiv预印本arXiv:2005.03180 [43] 卢，L。；孟，X。；毛，Z。；Karniadakis，G.E.，DeepXDE:解微分方程的深度学习库，SIAM Rev.，63，1，208-228（2021）·Zbl 1459.65002号 [44] 卢，L。；Jin，P。；庞，G。；张，Z。；Karniadakis，G.E.，基于算子的普遍逼近定理，通过DeepONet学习非线性算子，Nat.Mach。智力。，3, 3, 218-229 (2021) [45] 帕特尔·R·G。；特拉斯克，N.A。；伍德，文学硕士。；Cyr，E.C.，提取数据驱动连续体模型的物理信息操作员回归框架，计算。方法应用。机械。工程，373，第113500条pp.（2021）·Zbl 1506.62383号 [46] 韦诺维奇，N。；拉马尼，K。；Lin，G.，ConvPDE-UQ:不同区域上非齐次椭圆偏微分方程的量化不确定性卷积神经网络，J.Compute。物理。，394, 263-279 (2019) ·Zbl 1457.65245号 [47] 日内瓦，N。；Zabaras，N.，用物理约束的深度自回归网络建模PDE系统的动力学，J.Compute。物理。，403，第109056条pp.（2020）·Zbl 1454.65130号 [48] 拉纳德，R。；希尔，C。；Pathak，J.，DiscretizationNet:使用有限体积离散化的Navier-Stokes方程基于机器学习的求解器，计算。方法应用。机械。工程，378，第113722条pp.（2021）·Zbl 1506.76115号 [49] 巴特纳加，S。；阿夫沙尔，Y。；潘，S。；Duraisamy，K。；Kaushik，S.，使用卷积神经网络预测空气动力流场，计算。机械。，64, 2, 525-545 (2019) ·Zbl 1468.76051号 [50] Zhu，Y。；北卡罗来纳州扎巴拉斯。；Koutsourelakis，P.-S。；Perdikaris，P.，《无标记数据的高维代理建模和不确定性量化的物理约束深度学习》，J.Compute。物理。，394, 56-81 (2019) ·Zbl 1452.68172号 [51] Sorteberg，W.E。；加拉斯特，S。；Pouplin，A.S。；坎特韦尔，C.D。；Bharath，A.A.，使用深度神经网络近似波传播的解决方案（2018），arXiv预印本arXiv:1812.01609 [52] 长，Z。；卢，Y。；马，X。；Dong，B.，PDE-net：从数据中学习PDE（机器学习国际会议（2018），PMLR），3208-3216 [53] 日内瓦，N。；Zabaras，N.，《物理系统建模用变压器》（2020），arXiv预印本arXiv:2010.03957 [54] 李，Z。；科瓦奇奇，N。；阿齐扎登谢利，K。；刘，B。；巴塔查亚，K。；Stuart，A。；Anandkumar，A.，参数偏微分方程的傅里叶神经算子（2020），arXiv预印本arXiv:2010.08895 [55] S.Seo，C.Meng，Y.Liu，稀疏观测动力学的物理感知差分图网络，收录于：2019年学习表征国际会议。 [56] 特拉斯克，N。；帕特尔·R·G。；格罗斯，B.J。；Atzberger，P.J.，《GMLS-Nets:从非结构化数据学习的框架》（2019），arXiv预印本arXiv:1909.05371 [57] 李，Z。；科瓦奇奇，N。；Azizzadenesheli，K。；刘，B。；巴塔查亚，K。；Stuart，A。；Anandkumar，A.，《神经运算符：偏微分方程的图形核网络》（2020），arXiv预印本arXiv:2003.03485 [58] 贝尔布特·佩雷斯，F.d.A。；Economon，T。；Kolter，Z.，结合可微PDE解算器和图形神经网络进行流体流动预测，（机器学习国际会议（2020），PMLR），2402-2411 [59] 普法夫，T。；福图纳托，M。；Sanchez-Gonzalez，A。；Battaglia，P.W.，《基于网络的图形网络模拟学习》（2020），arXiv预印本arXiv:2010.03409 [60] 施，X。；陈，Z。；Wang，H。；Yeung，D.-Y。；Wong，W.-K。；Woo，W.c.，卷积LSTM网络：降水预报的机器学习方法，高级神经信息处理。系统。，28, 802-810 (2015) [61] 谢弗，H。；Caflisch，R。；Hauck，C.D。；Osher，S.，偏微分方程的稀疏动力学，Proc。国家。阿卡德。科学。，110, 17, 6634-6639 (2013) ·Zbl 1292.35012号 [62] Hochreiter，S。；Schmidhuber，J.，长短期记忆，神经计算。，9, 8, 1735-1780 (1997) [63] Graves，A.，《用递归神经网络生成序列》（2013），arXiv预印本arXiv:1308.0850 [64] Sutskever，I。；维尼亚尔斯，O。；Le，Q.V.，神经网络序列到序列学习（2014），arXiv预印本arXiv:1409.3215 [65] Jordan，M.I.，《序列：并行分布式处理方法》（Serial order:A parallel distributed processing approach），（《心理学进展》，第121卷（1997），爱思唯尔出版社），第471-495页 [66] T.Q.Chen，Y.Rubanova，J.Bettencourt，D.Duvenaud，神经常微分方程，收录于：NeurIPS，2018年，第6572-6583页。 [67] W.Shi，J.Caballero，F.Huszár，J.Totz，A.P.Aitken，r.Bishop，D.Rueckert，Z.Wang，使用高效亚像素卷积神经网络的实时单图像和视频超分辨率，收录于：IEEE计算机视觉和模式识别会议论文集，2016年，第1874-1883页。 [68] Q.Shan。；李，Z。；贾，J。；Tang，C.-K.，快速图像/视频上采样，ACM Trans。图表。，27, 5, 1-7 (2008) [69] 奥德纳，A。；杜穆林，V。；Olah，C.，《反褶积和棋盘制品》，Distilit，1，10，Article e3 pp.（2016） [70] 洛夫，S。；Szegedy，C.，批量归一化：通过减少内部协变量偏移来加速深度网络训练，（国际机器学习会议（2015），PMLR），448-456 [71] 余，J。；范，Y。；杨，J。；Xu，N。；Wang，Z。；王，X。；Huang，T.，高效准确图像超分辨率的广泛激活（2018），arXiv预打印arXiv:1808.08718 [72] Salimans，T。；Kingma，D.P.，《权重归一化：加速深层神经网络训练的简单重参数化》（2016），arXiv预印本arXiv:1602.07868 [73] Rao，C。；孙，H。；Liu，Y.，嵌入物理以从稀疏数据中学习时空动力学（2021），arXiv预印本arXiv:2106.04781 [74] Rao，C。；孙，H。；Liu，Y.，用于学习时空动力学的物理硬编码（2021），arXiv预印本arXiv:2105.00557 [75] Paszke，A。；格罗斯，S。；钦塔拉，S。；Chanan，G。；杨，E。；德维托，Z。；Lin，Z。；Desmaison，A。；安提瓜，L。；Lerer，A.，《pytorch中的自动区分》（2017） [76] Kingma，D.P。；Ba，J.，Adam：随机优化方法（2014），arXiv预印本arXiv:1412.6980 [77] 刘博士。；Nocedal，J.，关于大规模优化的有限内存BFGS方法，数学。程序。，45, 1, 503-528 (1989) ·Zbl 0696.90048号 [78] G.Huang，Z.Liu，L.Van Der Maaten，K.Q.Weinberger，密集连接卷积网络，收录于：IEEE计算机视觉和模式识别会议论文集，2017年，第4700-4708页。 [79] Rudy，S.H。；布伦顿，S.L。；Proctor，J.L。；Kutz，J.N.，偏微分方程的数据驱动发现，科学。高级，3，4，文章e1602614 pp.（2017） [80] Kipf，T.N。；Welling，M.，图卷积网络半监督分类（2016），arXiv预印本arXiv:1609.02907 [81] 布列松，X。；Laurent，T.，剩余选通图卷积（2017），arXiv预印arXiv:1711.07553 [82] Bronstein，M.M。；布鲁纳，J。；LeCun，Y。；Szlam，A。；Vandergheynst，P.，《几何深度学习：超越欧几里德数据》，IEEE信号处理。Mag.，34，4，18-42（2017） [83] 巴塔利亚，P.W。；哈姆里克·J·B。；巴普斯特，V。；Sanchez-Gonzalez，A。；赞巴尔迪，V。；马林诺夫斯基，M。；Tacchetti，A。；Raposo，D。；Santoro，A。；福克纳，R.，《关系归纳偏见、深度学习和图形网络》（Relational inductive biases，deep learning，and graph networks）（2018），arXiv预印本arXiv:1806.01261 [84] Defferrard，M。；布列松，X。；Vandergheynst，P.，具有快速局部化频谱滤波的图上的卷积神经网络（2016），arXiv预印本arXiv:1606.09375 [85] E.渭南。；Yu，B.，《deep ritz方法：求解变分问题的基于深度学习的数值算法》，Commun。数学。统计，6，1，1-12（2018）·Zbl 1392.35306号 [86] Goswami，S。；尹，M。；Yu，Y。；Karniadakis，G.，《预测脆性材料裂纹路径的基于物理的变分DeepONet》（2021），arXiv预印本arXiv:2108.06905 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。