×
申仁宗;杰罗姆·达邦;乔治·埃姆·卡尼亚达基斯

线性二阶椭圆和抛物型偏微分方程的物理信息神经网络的收敛性。 （英语） Zbl 1473.65349号

Commun公司。计算。物理学。 28，第5期，2042-2074（2020）。
概要：基于物理的神经网络（PINNs）是一种基于深度学习的技术，用于求解计算科学和工程中遇到的偏微分方程（PDE）。PINNs在数据和物理定律的指导下，找到一个近似PDE系统解的神经网络。这种神经网络是通过最小化损失函数获得的，在该损失函数中，对PDE和数据的任何先验知识进行编码。尽管它在一维、二维或三维问题上取得了显著的经验成功，但对于PINN几乎没有理论上的理由。
随着数据数量的增长，PINN会生成一系列与神经网络序列相对应的最小化器。我们想回答这个问题：极小化子序列收敛于PDE的解吗？我们考虑了两类偏微分方程：线性二阶椭圆方程和抛物线方程。通过采用Schauder方法和极大值原理，我们证明了极小化子序列强收敛于（C^0）中的PDE解。此外，我们证明了如果每个极小值满足初始/边界条件，则收敛模式变为（H^1）。提供了计算示例来说明我们的理论发现。据我们所知，这是第一个显示PINN一致性的理论工作。

引用于73文件

MSC公司：

65N99型 偏微分方程边值问题的数值方法
65M99型 偏微分方程、初值和含时初边值问题的数值方法
65平方米 含偏微分方程初值和初边值问题数值方法的稳定性和收敛性
65纳米12 含偏微分方程边值问题数值方法的稳定性和收敛性
35J25型 二阶椭圆方程的边值问题
35K20码 二阶抛物型方程的初边值问题
68T07型 人工神经网络与深度学习

关键词：

基于物理的神经网络;汇聚;霍尔德正则化;椭圆和抛物线偏微分方程;Schauder方法

软件：

L-BFGS公司;FPIN编号;亚当;DiffSharp（差异锐化）;深XDE;DGM公司
PDF格式BibTeX公司 XML格式引用
\textit{Y.Shin}等人，Commun。计算。物理。28，第5号，2042--2074（2020；Zbl 1473.65349）
全文： 内政部 arXiv公司

参考文献：

[1] H.Attouch、G.Buttazzo和G.Michaille。Sobolev和BV空间中的变分分析：在偏微分方程和优化中的应用。SIAM，2014年·Zbl 1311.49001号
[2] N.Baker、F.Alexander、T.Bremer、A.Hagberg、Y.Kevrekidis、H.Najm、M.Parashar、A.Patra、J.Sethian、S.Wild和ET AL.科学ma-chine学习基本研究需求研讨会报告：人工智能核心技术。技术报告，USDOE科学办公室（SC），华盛顿特区（美国），2019年。
[3] A.G.Baydin、B.A.Pearlmutter、A.A.Radul和J.M.Siskind。机器学习中的自动分化：一项调查。机器学习研究杂志，18（1）：5595-56372017·Zbl 06982909号
[4] J.Berg和K.Nyström。复杂几何中偏微分方程的统一深度人工神经网络方法。神经计算，317:28-412018。
[5] L.Bottou和O.Bousquet。大规模学习的权衡。《神经信息处理系统进展》，第161-168页，2008年。
[6] H.布雷齐斯。泛函分析，Sobolev空间和偏微分方程。施普林格科学与商业媒体，2010年·Zbl 1218.46002号
[7] J.Calder。Lipschitz学习与无限未标记数据和有限标记数据的一致性。SIAM数据科学数学杂志，1（4）：780-8122019年·Zbl 1499.35598号
[8] J.Darbon、G.P.Langlois和T.Meng。通过神经网络结构克服一些hamilton-jacobi偏微分方程的维数诅咒。arXiv预印arXiv:1910.090452019·兹比尔1445.35119
[9] J.Darbon和T.Meng。关于一些能表示某些高维Hamilton-Jacobi偏微分方程粘性解的神经网络结构。arXiv预打印arXiv:2002.097502020。
[10] M.Dissanayake和N.Phan Thien。用于求解par-tial微分方程的基于神经网络的近似。工程数值方法通讯，10（3）：195-201994·Zbl 0802.65102号
[11] W.E和B.Yu。deep Ritz方法：一种基于深度学习的数值算法，用于求解变分问题。数学与统计传播，6（1）：1-122018·Zbl 1392.35306号
[12] L.C.Evans和R.F.Gariepy。测度理论和函数的精细性质。CRC出版社，2015年·Zbl 1310.28001号
[13] C.Finlay、J.Calder、B.Abbasi和A.Oberman。Lipschitz正则化深度神经网络具有泛化性和对抗性鲁棒性。arXiv预印arXiv:1808.095402018。
[14] A.弗里德曼。抛物型偏微分方程。Courier Dover出版社，2008年。
[15] D.Gilburg和N.S.Trudinger。二阶椭圆偏微分方程。斯普林格，2015年·Zbl 1042.35002号
[16] X.Glorit和Y.Bengio。了解训练深度前馈神经网络的困难。《第十三届人工智能与统计国际会议论文集》，第249-256页，2010年。
[17] P.Grohs、F.Hornung、A.Jentzen和P.Von Wursemberger。证明了人工神经网络在数值逼近black-scholes偏微分方程时克服了维数灾难。arXiv预印arXiv:1809.02362018。
[18] J.Han、A.Jentzen和W.E.使用深度学习求解高维偏微分方程。《美国国家科学院院刊》，115（34）：8505-85102018·Zbl 1416.35137号
[19] B.Houska和B.Chachuat。希尔伯特空间中的全局优化。数学规划，173（1-2）：221-2492019·Zbl 1408.49027号
[20] A.D.Jagtap、K.Kawaguchi和G.E.Karniadakis。具有斜坡恢复项的局部自适应激活函数，用于深度和物理信息丰富的神经网络。arXiv预印arXiv:1909.122282019。
[21] D.P.Kingma和J.Ba.Adam：一种随机优化方法。arXiv预印本arXiv:1412.69802014。
[22] I.E.Lagaris、A.Likas和D.I.Fotiadis。用于求解常微分方程和偏微分方程的人工神经网络。IEEE神经网络交易，9（5）：987-10001998。
[23] I.E.Lagaris、A.C.Likas和G.D.Papageorgiou。不规则边界边值问题的神经网络方法。IEEE神经网络汇刊，11（5）：1041-10492000。
[24] Y.LeCun、Y.Bengio和G.Hinton。深度学习。《自然》，521（7553）：436-4442015年。
[25] D.C.Liu和J.Nocedal。关于大规模优化的有限内存bfgs方法。数学规划，45（1-3）：503-5281989·Zbl 0696.90048号
[26] L.Lu、X.Meng、Z.Mao和G.E.Karniadakis。Deepxde：用于求解微分方程的深度学习库。arXiv预印arXiv:1907.045022019·Zbl 1459.65002号
[27] Z.Mao、A.D.Jagtap和G.E.Karniadakis。高速流动的物理信息神经网络。应用力学与工程中的计算机方法，360:1127892020·Zbl 1442.76092号
[28] M.Mohri、A.Rostamizadeh和A.Talwalkar。机器学习基础。麻省理工学院出版社，2018年·Zbl 1407.68007号
[29] P.Niyogi和F.Girosi。散乱噪声数据函数逼近的泛化界。计算数学进展，10（1）：51-801999·Zbl 1053.65506号
[30] G.Pang、L.Lu和G.E.Karniadakis。fPINNs：分数物理信息神经网络。SIAM科学计算杂志，41（4）：A2603-A26262019·Zbl 1420.35459号
[31] A.平库斯。神经网络中mlp模型的近似理论。《数字学报》，1999年8月143-195日·Zbl 0959.68109号
[32] M.Raissi、P.Perdikaris和G.E.Karniadakis。基于物理的神经网络：用于解决涉及非线性偏微分方程的正问题和逆问题的深度学习框架。计算物理杂志，378:686-7072019年·Zbl 1415.68175号
[33] M.Raissi、A.Yazdani和G.E.Karniadakis。隐藏流体力学：从流动可视化中学习速度和压力场。科学，367（6481）：1026-103020·Zbl 1478.76057号
[34] S.方向舵。梯度下降优化算法概述。arXiv预印本arXiv：1609.047472016。
[35] J.Sirignano和K.Spiliopoulos。DGM：求解偏微分方程的深度学习算法。计算物理杂志，375:1339-13642018·兹比尔1416.65394
[36] F.Song、G.Pange、C.Meneveau和G.E.Karniadakis。湍流分数物理信息神经网络（fPINNs）。《美国物理学会公报》，2019年。
[37] S.Wang、Y.Teng和P.Perdikaris。理解和缓解物理信息神经网络中的梯度病理学。arXiv预印arXiv:2001.045362020。
[38] K.尤西达。功能分析，第123卷。斯普林格，1988年·Zbl 0126.11504号
[39] D.Zhang、L.Guo和G.E.Karniadakis。模态空间学习：使用物理信息神经网络求解与时间相关的随机偏微分方程。SIAM科学计算杂志，42（2）：A639-A6652020·Zbl 1440.60067号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。