卢，卢;徐汇孟;毛志平;乔治·埃姆·卡尼亚达基斯 DeepXDE：用于求解微分方程的深度学习库。 （英语） 兹比尔1459.65002 SIAM版本。 63，第1号，208-228（2021）. 总结：深度学习在各种应用中取得了显著的成功；然而，它在求解偏微分方程（PDEs）中的应用是最近才出现的。在这里，我们概述了物理信息神经网络（PINNs），它使用自动微分将PDE嵌入到神经网络的损失中。PINN算法简单，可以应用于不同类型的偏微分方程，包括积分微分方程、分数偏微分方程和随机偏微分方程。此外，从实现的角度来看，PINN解决逆问题和解决正问题一样容易。我们提出了一种新的基于残差的自适应细化（RAR）方法来提高PINN的训练效率。出于教学原因，我们将PINN算法与标准有限元方法进行了比较。我们还为PINN提供了一个Python库DeepXDE，它既可以作为课堂上使用的教育工具，也可以作为解决计算科学和工程问题的研究工具。具体来说，DeepXDE可以解决给定初始和边界条件的正向问题，以及给定一些额外测量值的反问题。DeepXDE支持基于构造立体几何技术的复杂几何域，并使用户代码紧凑，与数学公式非常相似。我们介绍了DeepXDE的用法及其可定制性，并针对五个不同的示例演示了PINN的功能和DeepXDE的用户友好性。更广泛地说，DeepXDE有助于新兴科学机器学习领域的更快发展。 引用于217文件 MSC公司： 65-01 与数值分析相关的介绍性说明（教科书、教程论文等） 65-04 与数值分析有关的问题的软件、源代码等 2017年10月68日 人工神经网络与深度学习 65升99 常微分方程的数值方法 65M99型 偏微分方程、初值和含时初边值问题的数值方法 65纳米99 偏微分方程边值问题的数值方法 关键词：教育软件;微分方程;深度学习;基于物理的神经网络;科学机器学习 软件：LBFGS-B型;FPIN编号;深XDE;DeepONet（深度网络）;亚当;PDE-网络;PyTorch公司;TensorFlow公司;DiffSharp（差异锐化）;转换PDE-UQ;DGM公司 PDF格式BibTeX公司 XML格式引用 \textit{L.Lu}等人，SIAM Rev.63，No.1，208--228（2021；Zbl 1459.65002） 全文： 内政部 arXiv公司 参考文献： [1] M.Abadi、P.Barham、J.Chen、Z.Chen、A.Davis、J.Dean、M.Devin、S.Ghemawat、G.Irving、M.Isard等人，《TensorFlow:大规模机器学习系统》，第十二届USENIX操作系统设计与实现研讨会，2016年，第265-283页。 [2] M.Ainsworth和J.T.Oden，《有限元分析中的后验误差估计》，John Wiley&Sons，2011年·兹伯利0895.76040 [3] A.Baeza和P.Mulet，多维流体动力学模拟高阶激波捕获方案的自适应网格细化技术，国际。J.数字。方法流体，52（2006），第455-471页·Zbl 1370.76116号 [4] N.Baker，F.Alexander，T.Bremer，A.Hagberg，Y.Kevrekidis，H.Najm，M.Parashar，A.Patra，J.Sethian，S.Wild等人，《科学机器学习基本研究需求研讨会报告：人工智能核心技术》，技术报告，美国能源部科学办公室，华盛顿特区，2019年。 [5] A.G.Baydin、B.A.Pearlmutter、A.A.Radul和J.M.Siskind，《机器学习中的自动差异化：调查》，J.Mach。学习。研究，18（2017），第5595-5637页·Zbl 06982909号 [6] C.Beck，W.E和A.Jentzen，高维完全非线性偏微分方程和二阶倒向随机微分方程的机器学习近似算法，J.非线性科学。，29（2019），第1563-1619页·Zbl 1442.91116号 [7] J.Berg和K.Nystro¨m，复杂几何偏微分方程的统一深度人工神经网络方法，Neurocomput。，317（2018），第28-41页。 [8] M.Betancourt，高阶自动微分几何理论，预印本，https://arxiv.org/abs/1812.11592, 2018. [9] J.Bettencourt、M.J.Johnson和D.Duvenaud，JAX中高阶导数的泰勒模式自动微分，收录于2019年NeurIPS 2019年程序转换研讨会，https://openreview.net/forum？id=SkxEF3FNPH。 [10] A.Blum和R.L.Rivest，《训练三节点神经网络是NP-complete》，载于《神经信息处理系统进展》，摩根·考夫曼，1989年，第494-501页。 [11] L.Bottou和O.Bousquet，《大规模学习的权衡》，载于《神经信息处理系统的进展》，摩根考夫曼，2008年，第161-168页。 [12] R.H.Byrd、P.Lu、J.Nocedal和C.Zhu，边界约束优化的有限内存算法，SIAM J.Sci。计算。，16（1995），第1190-1208页，https://doi.org/10.1137/0916069。 ·Zbl 0836.65080号 [13] Y.Chen，L.Lu，G.E.Karniadakis和L.D.Negro，纳米光学和超材料反问题的物理信息神经网络，预印本，https://arxiv.org/abs/11912.01085, 2019. [14] P.G.Ciarlet，椭圆问题的有限元方法，经典应用。数学。40，SIAM，2002年，https://doi.org/10.1137/1.9780898719208。 ·Zbl 0999.65129号 [15] M.Dissanayake和N.Phan-Thien，解偏微分方程的基于神经网络的近似，Comm.Numer。方法工程，10（1994），第195-201页·Zbl 0802.65102号 [16] W.E和B.Yu，《深层Ritz方法：一种基于深度学习的数值算法，用于求解变分问题》，Commun。数学。《法律总汇》，6（2018），第1-12页·Zbl 1392.35306号 [17] C.Finn、P.Abbeel和S.Levine，用于深度网络快速适应的模型认知元学习，《第34届机器学习国际会议论文集》，PMLR，2017年，第1126-1135页。 [18] P.Grohs、F.Hornung、A.Jentzen和P.Von Wursenberger，《人工神经网络克服Black-Scholes偏微分方程数值逼近中维数诅咒的证明》，预印本，https://arxiv.org/abs/1809.02362，2018年。 [19] J.Han、A.Jentzen和W.E，使用深度学习求解高维偏微分方程，Proc。国家。阿卡德。科学。美国，115（2018），第8505-8510页·Zbl 1416.35137号 [20] J.He，L.Li，J.Xu，C.Zheng，ReLU深度神经网络和线性有限元，预印本，https://arxiv.org/abs/1807.03973, 2018. [21] Q.He、D.Brajas-Solano、G.Tartakovsky和A.M.Tartagovsky，《应用于地下传输的多物理数据同化的物理信息神经网络》，预印本，https://arxiv.org/abs/1912.02968, 2019. [22] T.J.Hughes、J.A.Cottrell和Y.Bazilevs，等几何分析：CAD、有限元、NURBS、精确几何和网格细化，计算机方法应用。机械。工程，194（2005），第4135-4195页·Zbl 1151.74419号 [23] A.D.Jagtap、K.Kawaguchi和G.E.Karniadakis，深度和物理信息神经网络带斜率恢复项的局部自适应激活函数，预印本，https://arxiv.org/abs/1909.12228, 2019. [24] A.D.Jagtap、K.Kawaguchi和G.E.Karniadakis，自适应激活函数加速了深度和物理信息神经网络的收敛，J.Compute。物理。，404（2020），第109136条·Zbl 1453.68165号 [25] P.Jin、L.Lu、Y.Tang和G.E.Karniadakis，从数据分布和神经网络平滑度的角度量化深度学习中的泛化错误，预印本，https://arxiv.org/abs/1905.11427, 2019. [26] C.Johnson，《用有限元法求解偏微分方程》，Courier Corporation，2012年。 [27] G.E.Karniadakis和S.J.Sherwin，《计算流体动力学的谱/hp元素方法》，第二版，牛津大学出版社，2013年·Zbl 1256.76003号 [28] Y.Khoo、J.Lu和L.Ying，用人工神经网络解决参数PDE问题，预印本，https://arxiv.org/abs/1707.03351, 2017. [29] D.P.Kingma和J.Ba，Adam:随机优化方法，第三届学习表征国际会议，2015年；预印本可从https://arxiv.org/abs/1412.6980。 [30] I.E.Lagaris、A.Likas和D.I.Fotiadis，求解常微分方程和偏微分方程的人工神经网络，IEEE Trans。神经网络，9（1998），第987-1000页。 [31] I.E.Lagaris、A.C.Likas和D.G.Papageorgiou，不规则边界边值问题的神经网络方法，IEEE Trans。神经网络，11（2000），第1041-1049页。 [32] Y.LeCun、Y.Bengio和G.Hinton，《深度学习》，《自然》，521（2015），第436-444页。 [33] Z.Long，Y.Lu，X.Ma，B.Dong，PDE-net：从数据中学习PDE，《第35届机器学习国际会议论文集》，PMLR，2018年，第3214-3222页。 [34] L.Lu、P.Jin和G.E.Karniadakis，DeepONet:基于算子的普遍逼近定理识别微分方程的非线性算子学习，预印本，https://arxiv.org/abs/1910.03193, 2019. [35] L.Lu、Y.Shin、Y.Su和G.E.Karniadakis，《死亡ReLU和初始化：理论和数值示例》，预印本，https://arxiv.org/abs/1903.06733, 2019. [36] L.Lu、Y.Su和G.E.Karniadakis，深层和窄层神经网络的崩溃，预印本，https://arxiv.org/abs/1808.04947, 2018. [37] Z.Mao、A.D.Jagtap和G.E.Karniadakis，《高速流动的物理信息神经网络》，计算。方法应用。机械。工程，360（2020），第112789条·Zbl 1442.76092号 [38] C.C.Margossian，《自动分化及其有效实施综述》，Wiley Interdiscip。Rev.数据挖掘知识。光盘。，第9条（2019年），第1305条。 [39] A.J.Meade，Jr.和A.A.Fernandez，线性常微分方程的前馈神经网络数值解，数学。计算。《建模》，19（1994），第1-25页·Zbl 0807.65079号 [40] X.Meng和G.E.Karniadakis，从多精度数据学习的复合神经网络：在函数逼近和PDE逆问题中的应用，预印本，https://arxiv.org/abs/1903.00104, 2019. [41] M.A.Nabian和H.Meidani，《高维随机偏微分方程的深度神经网络替代》，预印本，https://arxiv.org/abs/1806.02957, 2018. [42] G.Pang、L.Lu和G.E.Karniadakis，fPINNs:分数物理信息神经网络，SIAM J.Sci。计算。，41（2019），第A2603-A2626页，https://doi.org/10.1137/18M1229845。 ·Zbl 1420.35459号 [43] A.Paszke、S.Gross、S.Chintala、G.Chanan、E.Yang、Z.DeVito、Z.Lin、A.Desmaison、L.Antiga和A.Lerer，《PyTorch中的自动区分》，NIPS 2017年Autodiff研讨会，2017年，https://openreview.net/forum？id=BJJsrmfCZ。 [44] A.Pinkus，神经网络中MLP模型的近似理论，《数值学报》。，8（1999），第143-195页·兹比尔0959.68109 [45] T.Poggio、H.Mhaskar、L.Rosasco、B.Miranda和Q.Liao，深度而非浅层网络为何以及何时能够避免维度诅咒：综述，国际。J.自动化计算。，14（2017），第503-519页。 [46] N.Rahaman、A.Baratin、D.Arpit、F.Draxler、M.Lin、F.Hamprecht、Y.Bengio和A.Courville，《神经网络的谱偏差》，载于《第36届机器学习国际会议论文集》，PMLR，2019年，第5301-5310页。 [47] M.Raissi、P.Perdikaris和G.E.Karniadakis，《以物理为基础的神经网络：解决涉及非线性偏微分方程的正问题和逆问题的深度学习框架》，J.Compute。物理。，378（2019），第686-707页·Zbl 1415.68175号 [48] M.Raissi、A.Yazdani和G.E.Karniadakis，《隐藏流体力学：从流动可视化中学习速度和压力场》，《科学》，367（2020），第1026-1030页·兹比尔1478.76057 [49] D.E.Rumelhart、G.E.Hinton和R.J.Williams，《反向传播错误的学习表征》，《自然》，323（1986），第533-536页·Zbl 1369.68284号 [50] J.Sirignano和K.Spiliopoulos，DGM：解偏微分方程的深度学习算法，J.Compute。物理。，375（2018），第1339-1364页·Zbl 1416.65394号 [51] A.M.Tartakovsky、C.O.Marrero、P.Perdikaris、G.D.Tartakovsky和D.Barajas Solano，学习参数和本构关系与物理信息深度神经网络，预印本，https://arxiv.org/abs/1808.03398, 2018. [52] B.P.van Milligen、V.Tribaldos和J.Jimeánez，神经网络微分方程和等离子体平衡求解器，Phys。修订稿。，75（1995），第3594-3597页。 [53] N.Winovich，K.Ramani和G.Lin，ConvPDE-UQ：不同区域上非齐次椭圆偏微分方程的量化不确定性卷积神经网络，J.Compute。物理。，394（2019），第263-279页·Zbl 1457.65245号 [54] Z.-Q.J.Xu、Y.Zhang、T.Luo、Y.Xiao和Z.Ma，《频率原理：傅里叶分析照亮深层神经网络》，预印本，https://arxiv.org/abs/1901.06523, 2019. [55] L.Yang、D.Zhang和G.E.Karniadakis，《随机微分方程的物理信息生成对抗网络》，预印本，https://arxiv.org/abs/1811.02033, 2018. ·Zbl 1440.60065号 [56] D.Zhang、L.Guo和G.E.Karniadakis，《模态空间中的学习：使用物理信息神经网络求解时间相关的随机偏微分方程》，预印本，https://arxiv.org/abs/1905.01205, 2019. ·Zbl 1440.60067号 [57] D.Zhang、L.Lu、L.Guo和G.E.Karniadakis，量化物理信息神经网络中用于解决正向和反向随机问题的总不确定性，J.Compute。物理。，397（2019），第108850条·Zbl 1454.65008号 [58] Y.Zhu、N.Zabaras、P.-S.Koutsourelakis和P.Perdikaris，《无标记数据的高维替代建模和不确定性量化的物理约束深度学习》，预印本，https://arxiv.org/abs/1901.06314, 2019. [59] B.Zoph和Q.V.Le，《强化学习的神经架构搜索》，预印本，https://arxiv.org/abs/1611.01578, 2016. 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。