×
阿米亚·贾格塔普。;乔治·埃姆·卡尼亚达基斯

扩展物理信息神经网络（XPINNs）：基于广义时空域分解的非线性偏微分方程深度学习框架。 （英语） Zbl 07419158号

Commun公司。计算。物理学。 28，第5期，2002-2041（2020）.
摘要：我们为物理信息神经网络（PINNs）提出了一种广义时空域分解方法，用于求解任意复杂几何域上的非线性偏微分方程（PDEs）。提出的框架名为eXtend PINNs(XPIN编号)，进一步推导出PINN和保守PINN（cPINNs）的边界，这是PINN框架中最近提出的一种针对守恒定律的区域分解方法。与PINN相比，XPINN方法具有在较小的子域中部署多个神经网络的固有特性，因此具有较大的表示和并行化能力。与cPINN不同，XPINN可以扩展到任何类型的PDE。此外，域可以以任意方式（在空间和时间上）进行分解，这在cPINN中是不可能的。因此，XPINN提供了空间和时间并行化，从而更有效地降低了训练成本。在每个子域中，使用一个单独的神经网络和最优选择的超参数，例如网络的深度/宽度、剩余点的数量和位置、激活函数、优化方法等。深度网络可以用于具有复杂解的子域，而浅层神经网络可以用于求解相对简单光滑的子域。我们通过求解正向和反向PDE问题，从一维问题到三维问题，从时间相关问题到时间无关问题，从连续问题到不连续问题，证明了XPINN的通用性，这清楚地表明XPINN方法在许多实际问题中是有前途的。所提出的XPINN方法是PINN和cPINN方法的推广，无论是在适用性方面，还是在区域分解方法方面，都有效地促进了并行计算。XPINN代码在上可用https://github.com/AmeyaJagtap/XPINN网站.

引用于113文件

MSC公司：

65纳米55 多重网格方法；含偏微分方程边值问题的区域分解
65M55型 多重网格方法；涉及偏微分方程初值和初边值问题的区域分解
65平方英寸21 含偏微分方程边值问题反问题的数值方法
35E05型 偏微分方程和常系数偏微分方程组的基本解
35E15型 偏微分方程和常系数偏微分方程组的初值问题
76升05 流体力学中的冲击波和爆炸波
74B05型 经典线性弹性
68T07型 人工神经网络与深度学习
68问题32 计算学习理论
35J05型 拉普拉斯算子、亥姆霍兹方程（约化波动方程）、泊松方程
35问题35 与流体力学相关的PDE

关键词：

PIN码;XPINN公司;区域分解;不规则域;机器学习;基于物理的学习

软件：

TensorFlow公司;DGM公司;hp-车辆识别号;AlexNet公司;ImageNet公司;XPIN编号;github;NSF网络;DiffSharp（差异锐化）;300万;亚当;FPIN编号
PDF格式BibTeX公司 XML格式引用
\textit{A.D.Jagtap}和\textit{G.E.Karniadakis}，Commun。计算。物理学。28，第5期，2002--2041（2020；Zbl 07419158）
全文： 内政部

参考文献：

[1] H.Lee和I.S.Kang，解微分方程的神经算法，《交换物理杂志》，91（1）（1990）110-131·Zbl 0717.65062号
[2] I.E.Lagaris、A.Likas和D.I.Fotiadis，用于求解序数和偏微分方程的人工神经网络，IEEE神经网络交易，9（5）（1998）987-1000。
[3] I.E.Lagaris、A.C.Likas和D.G.Papageorgiou，不规则边界边值问题的神经网络方法，IEEE神经网络汇刊，11（5）（2000）1041-1049。
[4] D.C.Psichogios和L.H.Ungar，《一种混合神经网络第一原理的前向建模方法》，AIChE J.，38，1499（1992）。
[5] R.S.Beidokhti和A.Malek，使用神经网络和优化技术解决偏微分方程组的初边值问题，J.Franklin Inst.，346898（2009）·Zbl 1298.65155号
[6] M.Hirn、S.Mallat和N.Poilvert，量子化学能的小波散射回归，多尺度模型。模拟。，15, 827 (2017). ·Zbl 1365.42030号
[7] S.Mallat，《理解深卷积网络》，Phil.Trans。R.Soc.A，37420150203（2016）。
[8] A.G.Baydin、B.A.Pearlmutter、A.A.Radul和J.M.Siskind，《机器学习中的自动差异：调查》，《机器教学研究杂志》，18（2018）1-43·Zbl 06982909号
[9] S.Wang、Y.Teng和P.Perdikaris，理解和缓解物理信息神经网络中的梯度病理，arxiv:2001.04536v12020。
[10] C.Basdevant等人，Burgers方程的谱和有限差分解，计算。《流体》，14（1986）23-41·Zbl 0612.76031号
[11] J.Han、A.Jentzen和W.E.使用深度学习求解高维偏微分方程。《美国国家科学院院刊》，115（34）：8505-85102018·Zbl 1416.35137号
[12] D.Zhang、L.Guo和G.E.Karniadakis。模态空间学习：使用物理信息神经网络求解时间相关的随机偏微分方程。SIAM科学计算杂志，42（2）：A639-A6652020·Zbl 1440.60067号
[13] G.Pang、L.Lu和G.E.Karniadakis。fpinns：分数物理信息神经网络。SIAM科学计算杂志，41（4）：A2603-A26262019·Zbl 1420.35459号
[14] E.Kharazmi，Z.Zhang，G.E.Karniadakis，求解偏微分方程的变分物理知情神经网络，arXiv:1912.00873·Zbl 1506.68105号
[15] Y.Yang和P.Perdikaris。物理信息神经网络中的对抗不确定性量化。计算物理杂志，394:136-1522019年·Zbl 1452.68171号
[16] Y.Zhu、N.Zabaras、P.-S.Koutsourelakis和P.Perdikaris。无需实验室数据的高维替代建模和不确定性量化的物理约束深度学习。《计算物理杂志》，394:56-812019年·Zbl 1452.68172号
[17] S.Mishra，R.Molinaro，《物理信息神经网络（PINNs）用于近似PDE的泛化误差估计》，arXiv:2006.16144v12020。
[18] S.Mishra，R.Molinaro，《物理信息神经网络（PINNs）用于逼近PDE II的泛化误差估计：一类反问题》，arXiv:2007.01138v12020。
[19] K.Shukla，P.C.D.Leoni，J.Blackshire，D.Sparkman，G.E.Karniadakis，《表面断裂裂纹超声无损定量的物理信息神经网络》，arXiv:2005.03596v12020。
[20] D.P.Kingma，J.L.Ba，《ADAM：随机优化方法》，arXiv:1412.6980v92017年。
[21] A.D.Jagtap、K.Kawaguchi和G.E.Karniadakis，自适应激活函数加速了深度和物理信息神经网络的收敛，J.Compute。物理。，404 (2020) 109136. ·Zbl 1453.68165号
[22] A.D.Jagtap、K.Kawaguchi和G.E.Karniadakis，深度和物理信息神经网络的局部自适应激活函数，Proc。R.Soc.A，476:20200334（2020）。http://dx.doi.org/10.1098/rspa.2020.0334 ·Zbl 1453.68165号 ·doi:10.1098/rspa.2020.0334
[23] Z.Mao，A.D.Jagtap和G.E.Karniadakis，《高速流动的物理信息神经网络》，《应用力学和工程中的计算机方法》，360（2020）112789·Zbl 1442.76092号
[24] K.Li，K.Tang，T.Wu，Q.Liao，D3M：偏微分方程的深度区域分解方法，IEEE Access，第8卷，pp.5283-52942020。
[25] A.Krizhevsky、I.Sutskever和G.Hinton。基于深度卷积神经网络的Imagenet分类。《神经信息处理系统进展》，第1097-1105页，2012年。
[26] M.Raissi、H.Babaee和P.Givi，湍流标量混合的深度学习，《物理评论流体》，4（12）（2019）124501。
[27] X.Jin，S.Cai，H.Li，G.E.Karniadakis，NSFnets（Navier-Stokes流网络）：不可压缩Navier-Stokes方程的物理信息神经网络，arXiv预印本arXiv:2003.06496。
[28] C.Rao，H.Sun，Y.Liu，《物理学为无标记数据的计算弹性动力学的深度学习提供了信息》，arXiv预印本arXiv:2006.084722020。
[29] J.-X.Wang、J.Wu、J.Ling、G.Iaccarino和H.Xiao，《预测湍流建模的综合物理学习框架》，Phys。《流体评论》，3074602（2018）。
[30] A.D.Jagtap、Y.Shin和G.E.Karniadakis，Kronecker神经网络：具有自适应激活功能的神经网络的一般框架（准备中）。
[31] Y.Shin、J.Darbon和G.E.Karniadakis，《关于物理信息神经网络的收敛和泛化》，arXiv:2004.01806v12020。
[32] L.D.Landau和E.M.Lifshits，弹性理论。牛津佩加蒙出版社，1986年。
[33] H.Owhadi，贝叶斯数值均匀化，多尺度模型。模拟。，13, 812-828, 2015. ·Zbl 1322.35002号
[34] S.L.Brunton、J.L.Proctor和J.N.Kutz。通过非线性动力系统的稀疏化从数据中发现控制方程。《美国国家科学院院刊》，113，3932-39372016·Zbl 1355.94013号
[35] M.Abadi等人，《Tensorflow:大规模机器学习系统》，载于：第12届USENIX操作系统设计与实现研讨会，OSDI 16，2016年，第265-283页。
[36] Q.Zheng，L.Zeng，G.E.Karniadakis，《基于物理的语义修复：应用于地质统计建模》，arXiv预印本arXiv:1909.09459。
[37] M.Raissi、P.Perdikaris和G.E.Karniadakis，《基于物理的神经网络：解决非线性偏微分方程正问题和逆问题的深度学习框架》。J.计算。物理。，378, 686-707, 2019. ·Zbl 1415.68175号
[38] J.Sirignano和K.Spiliopoulos，DGM，解偏微分方程的深度学习算法，J.Compute。物理学，375（2018）1339-1364·Zbl 1416.65394号
[39] J.Ling、A.Kurzawski和J.Tompson，使用嵌入不变性的深层神经网络进行雷诺平均湍流建模，J.Fluid Mech。，807 (2016) 155-166. ·Zbl 1383.76175号
[40] J.Tompson等人，《利用卷积网络加速欧拉流体模拟》，载于《机器学习研究论文集》，2017年第70卷，第3424-3433页。
[41] S.Ruder，梯度下降优化算法概述，arXiv:1609.04747v22017。
[42] M.Raissi，A.Yazdani，G.E.Karniadakis，《隐藏流体力学：从流动可视化中学习速度和压力场》，《科学》，367（6481）（2020）1026-1030·Zbl 1478.76057号
[43] G.Kissas，Y.Yang，E.Hwuang，W.R.Witschey，J.A.Detre，P.Perdikaris，《心血管血流建模中的机器学习：使用物理信息神经网络从非侵入性4D流MRI数据预测动脉血压》，《应用力学与工程中的计算机方法》，358（2020）112623·Zbl 1441.76149号
[44] F.Sahli Costabal、Y.Yang、P.Perdikaris、D.E.Hurtado和E.Kuhl，用于心脏激活映射的物理知情神经网络，物理学前沿，8（2020）42。
[45] M.Raissi、Z.Wang、M.S.Triantafylou和G.E.Karniadakis，涡流诱导振动的深度学习，流体力学杂志，861（2019）119-137·Zbl 1415.76177号
[46] A.D.Jagtap、E.Kharazmi和G.E.Karniadakis，守恒定律离散域上的守恒物理信息神经网络：正问题和反问题的应用，应用力学和工程中的计算机方法，365（2020）113028·Zbl 1442.92002号
[47] X.Glorit和Y.Bengio。了解训练深度前馈神经网络的困难。InAistats，第9卷，第249-256页，2010年。
[48] E.Kharazmi，Z.Zhang和G.E.Karniadakis，hp VPINNs:具有域分解的变分物理知情神经网络，arXiv:2003.05385·Zbl 1506.68105号
[49] H.C.Yee、R.F.Warming和A.Harten，《弱解无粘气体动力学问题的高分辨率数值技术》，摘自：《流体动力学数值方法八项国际会议论文集》，摘录于：《物理学讲义》，第170卷，Springer，纽约/Berkin，1982年，第546-552页
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。