×
徐汇孟;李，珍;张冬坤;乔治·埃姆·卡尼亚达基斯

PPINN：用于时间相关PDE的准真实物理信息神经网络。 （英语） Zbl 1506.65181号

计算。方法应用。机械。工程师。 370，文章ID 113250，第16页（2020）。
摘要：物理信息神经网络（PINNs）将物理守恒定律和先验物理知识编码到神经网络中，确保准确地表示正确的物理，同时在很大程度上减少了监督学习的需要[M.莱斯等，《计算杂志》。物理。378, 686–707 (2019;Zbl 1415.68175号)]. 虽然对相对较短的时间积分有效，但当寻求时变PDE的长时间积分时，时空域可能会变得任意大，因此神经网络的训练可能会非常昂贵。为此，我们开发了一个准真实的物理信息神经网络（PPINN），因此将长时间问题分解为许多独立的短时间问题，并由廉价/快速粗粒度（CG）求解器进行监控。特别是，串行CG解算器设计用于在离散时间提供解的近似预测，同时同时启动多个精细PINN以迭代修正解。用小数据集训练PINN比直接在大数据集上工作有两个好处，即用小数据训练单个PINN要快得多，而训练精细PINN可以很容易地并行化。因此，与原始PINN方法相比，假设CG解算器速度快，能够对解进行合理预测，则所提出的PPINN方法可以显著加快PDE的长时间积分，从而帮助PPINN解在几次迭代中收敛。为了研究PPINN在求解含时偏微分方程时的性能，我们首先应用PPINN求解Burgers方程，然后应用PPINN求解二维非线性扩散反应方程。我们的结果表明，PPINN在几次迭代中收敛，显著的加速速度与所使用的时间子域数成正比。

引用于50文件

MSC公司：

65M99型 偏微分方程、初值和含时初边值问题的数值方法
2005年5月 并行数值计算
68T07型 人工神经网络与深度学习

关键词：

深度神经网络;机器学习;并行时间;长期集成;多尺度;针

引文：

Zbl 1415.68175号

软件：

CUDA公司;深XDE;FPIN编号;亚当;阿达格拉德;PPINN公司;转换PDE-UQ
PDF格式BibTeX公司 XML格式引用
\textit{X.Meng}等人，计算。方法应用。机械。Eng.370，文章ID 113250，16 p.（2020；Zbl 1506.65181）
全文： 内政部 arXiv公司

参考文献：

[1] Hodas，N.O。；Stinis，P.，《做不可能的事：为什么神经网络可以训练》，Front。心理医生。，91185（2018）
[2] Kurth，T。；Treichler，S。；罗梅罗，J。；Mudigonda，M。；鲁尔，N。；菲利普斯，E。；Mahesh，A。；Matheson，M。；戴斯利普，J。；法蒂卡，M。；普拉巴特；休斯顿，M.，Exascale气候分析深度学习（2018），arXiv预印本arXiv:1810.01993
[3] 卢，J。；Shah，D.A。；帕蒂，S。；卡特尔，S。；张，M。；Sandhupatla，A。；Ng，C。；北戈里。；医学博士辛克莱。；罗杰斯，T.G。；Aamodt，T.M.，使用详细的GPU模拟器分析机器学习工作负载，（2019年IEEE系统和软件性能分析国际研讨会（ISPASS）（2019）），151-152
[4] 你，Y。；张，Z。；谢长廷。；德梅尔，J。；Keutzer，K.，《分布式系统和云TPU上的快速深度神经网络训练》，IEEE Trans。并行分配系统。，1-14 (2019)
[5] 博图，L。；柯蒂斯，F。；Nocedal，J.，《大规模机器学习的优化方法》，SIAM Rev.，60，2，223-311（2018）·Zbl 1397.65085号
[6] Kingma，D.P。；Ba，J.，Adam：随机优化方法（2014），arXiv预印本arXiv:1412.6980
[7] 杜奇，J。；哈赞，E。；Singer，Y.，在线学习和随机优化的自适应次梯度方法，J.Mach。学习。2011年7月12日第2121-2159号决议·Zbl 1280.68164号
[8] Tripathy，R.K。；Bilionis，I.，Deep UQ：学习深度神经网络替代模型，用于高维不确定性量化，J.Compute。物理。，375, 565-588 (2018) ·兹伯利1419.68084
[9] Michoski，C。；Milosavljevic，M。；Oliver，T。；Hatch，D.，《使用深度神经网络求解不规则和数据丰富的微分方程》（2019年），arXiv预印本arXiv:1905.04351
[10] N.A.K.Doan，W.Polifke，L.Magri，混沌系统预测的基于物理的回波状态网络，载于：ICCS 2019-国际计算科学会议，葡萄牙法罗，2019。
[11] 马修基斯，M。；原木瓜属（Protopapas，P.）。；Sondak，D。；Di Giovanni，M。；Kaxiras，E.，神经网络中嵌入的物理对称性（2019），arXiv预印本arXiv:1904.08991
[12] Stinis，P.，《在有监督、无监督和强化学习中对时间序列预测实施约束》（2019年），arXiv预印本arXiv:1905.07501
[13] 韦诺维奇，N。；拉马尼，K。；Lin，G.，ConvPDE-UQ：不同区域上非齐次椭圆偏微分方程的量化不确定性卷积神经网络，J.Compute。物理。(2019) ·Zbl 1457.65245号
[14] 莱斯，M。；佩迪卡里斯，P。；Karniadakis，G.E.，《基于物理的神经网络：解决涉及非线性偏微分方程的正问题和逆问题的深度学习框架》，J.Compute。物理。，378, 686-707 (2019) ·Zbl 1415.68175号
[15] Dissanayake，M.W.M.G。；Phan-Thien，N.，解偏微分方程的基于神经网络的近似，Commun。数字。方法工程，10，3，195-201（1994）·Zbl 0802.65102号
[16] 卢，L。；X孟。；毛，Z。；Karniadakis，G.E.，DeepXDE:解微分方程的深度学习库（2019），arXiv预印本arXiv:1907.04502
[17] Yang，L。；张，D。；Karniadakis，G.E.，《随机微分方程的物理信息生成对抗网络》（2018），arXiv预印本arXiv:1811.02033
[18] 张，D。；卢，L。；郭，L。；Karniadakis，G.E.，《量化物理信息神经网络中用于解决正向和反向随机问题的总不确定性》，J.Compute。物理。，397, 108850 (2019) ·Zbl 1454.65008号
[19] 张，D。；郭，L。；Karniadakis，G.E.，《模态空间中的学习：使用物理信息神经网络求解时间相关随机偏微分方程》（2019年），arXiv预印本arXiv:1905.01205
[20] 杨，Y。；Perdikaris，P.，《物理信息神经网络中的对抗不确定性量化》，J.Compute。物理。，394, 136-152 (2019) ·Zbl 1452.68171号
[21] 庞，G。；卢，L。；Karniadakis，G.E.，FPINNs:分数物理信息神经网络（2018），arXiv预印本arXiv:1811.08967·Zbl 1420.35459号
[22] X孟。；Karniadakis，G.E.，《从多保真数据中学习的复合神经网络：在函数逼近和PDE逆问题中的应用》（2019），arXiv预印本arXiv:1903.00104
[23] 平衡，G。；Maday，Y.，非线性PDE的“准实时”时间离散化及其在美式看跌期权定价中的应用，（区域分解方法的最新发展（2002），Springer），189-202·Zbl 1022.65096号
[24] Maday，Y。；Turinici，G.，控制偏微分方程的准实时程序，CR.数学。，335, 4, 387-392 (2002) ·兹比尔1006.65071
[25] Maday，Y。；Turinici，G.，《准实时迭代求解器：并行实现的进一步方向》，（科学与工程领域分解方法（2005），Springer），441-448·Zbl 1067.65102号
[26] Gander，M.J.，《50年时间并行时间集成》（Multiple Shooting and time Domain Decomposition Methods（2015），Springer），第69-113页·Zbl 1337.65127号
[27] Ong，B.W。；Schroder，J.B.，时间并行化的应用（2019）
[28] 杜，X。；萨基斯，M。；Scharer，C.E。；Szyld，D.B.，抛物型最优控制问题的非精确和截断准实时Krylov子空间方法，电子。数字。分析。，40, 36-57 (2013) ·Zbl 1288.65093号
[29] A.鲍德伦。；Lautard，J。；Maday，Y。；Riahi，M.K。；Salomon，J.，LWR基准中子扩散瞬态模型的准实时三维数值解算器，J.Compute。物理。，279, 67-79 (2014) ·Zbl 1351.82069号
[30] 菲舍尔，P.F。；Hecht，F。；Maday，Y.，Navier-Stokes方程的准实时半隐式近似，（科学与工程领域分解方法（2005），Springer），433-440·Zbl 1309.76060号
[31] Farhat，C。；Chandesris，M.，《时间分解并行时间积分器：流体、结构和流体结构应用的理论和可行性研究》，国际。J.数字。《液体方法》，58，9，1397-1434（2003）·Zbl 1032.74701号
[32] Maday，Y.，基于模型简化的动力学系统准实时算法，高维。部分差异。埃克。科学。工程，41，183-194（2007）·Zbl 1126.65086号
[33] Christlieb，A.J。；Ong，B.W.，隐式并行时间积分器，J.Sci。计算。，49, 2, 167-179 (2011) ·Zbl 1243.65076号
[34] Christlieb，A.J。；哈恩斯，R.D。；Ong，B.W.，《并行时空算法》，SIAM J.Sci。计算。，34、5、C233-C248（2012）·Zbl 1259.65143号
[35] Blumers，A。；李，Z。；Karniadakis，G.E.，随机动力学长期拉格朗日模拟的监督并行时间算法：应用于流体动力学，J.Comput。物理。，393, 214-228 (2019) ·Zbl 1452.76172号
[36] 利夫尼，R。；沙列夫·施瓦茨，S。；Shamir，O.，《关于训练神经网络的计算效率》，（神经信息处理系统进展（2014）），855-863
[37] 托雷。；Shavlik，J.，转移学习，（机器学习应用和趋势研究手册：算法、方法和技术（2010），IGI Global），242-264
[38] Shu，M.，使用转移学习对极小数据集进行图像分类的深度学习（2019年）
[39] 孟，X。；Guo，Z.，用于模拟多孔介质中可混溶粘性驱替的局部化晶格Boltzmann方程模型，国际传热杂志，100767-778（2016）
[40] Meerschaert，M.M。；谢夫勒，H.-P。；Tadjeran，C.，二维分数阶色散方程的有限差分方法，J.Compute。物理。，211, 1, 249-261 (2006) ·Zbl 1085.65080号
[41] 桑德斯，J。；Kandrot，E.，《CUDA示例：通用GPU编程简介》（2010），Addison-Wesley Professional
[42] Haut，T。；Wingate，B.，高振荡PDE的渐近并行时间方法，SIAM J.Sci。计算。，36、2、A693-A713（2014）·Zbl 1321.65131号
[43] Legoll，F。；Lelievre，T。；Samaey，G.，《微观仿实算法：奇异摄动常微分方程的应用》，SIAM J.Sci。计算。，35、4、A1951-A1986（2013）·Zbl 1362.65071号
[44] Beylkin，G。；Coult，N.，用于简化椭圆偏微分方程和特征值问题的多分辨率策略，应用。计算。哈蒙。分析。，5, 2, 129-155 (1998) ·Zbl 0912.35013号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。