×
胡哲元;阿米亚·贾格塔普。;乔治·埃姆·卡尼亚达基斯;川口，Kenji

扩展物理信息神经网络（XPINN）何时能提高泛化能力？ （英语） Zbl 1498.65183号

SIAM J.科学。计算。 44，编号5，A3158-A3182（2022）。
摘要：基于物理信息的神经网络（PINNs）由于其卓越的逼近能力和泛化能力，已成为求解高维偏微分方程（PDE）的一种流行选择。最近，基于区域分解方法的扩展PINN（XPINN）由于其在多尺度和多物理问题建模中的有效性及其并行化而受到了广泛关注。然而，对它们的收敛性和泛化性质的理论理解仍有待探索。在本研究中，我们迈出了第一步，以了解XPINN如何以及何时优于PINN。具体来说，对于一般的多层PINN和XPINN，我们首先通过PDE问题中目标函数的复杂性提供一个先验泛化界，然后通过优化后网络的后验矩阵范数提供一个后验泛化边界。此外，基于我们的界，我们分析了XPINN改进泛化的条件。具体来说，我们的理论表明，XPINN的关键构建块，即域分解，为泛化带来了折衷。一方面，XPINN将复杂的PDE解决方案分解为几个简单的部分，这降低了学习每个部分所需的复杂性，并促进了泛化。另一方面，分解导致每个子域中可用的训练数据较少，因此这种模型通常容易过度拟合，并且可能变得不太通用。经验上，我们选择了五个PDE来显示XPINN的性能何时优于、类似于或低于PINN，从而证明了我们的新理论。

引用于12文件

MSC公司：

65M99型 偏微分方程、初值和含时初边值问题的数值方法
68问题32 计算学习理论
68T05型 人工智能中的学习和自适应系统
65M55型 多重网格方法；涉及偏微分方程初值和初边值问题的区域分解

关键词：

扩展物理信息神经网络（XPINN）;一般化;深度学习

软件：

NSF网络;XPIN编号;L-BFGS公司;亚当
PDF格式BibTeX公司 XML格式引用
\textit{Z.Hu}等人，SIAM J.Sci。计算。44，第5号，A3158--A3182（2022；Zbl 1498.65183）
全文： 内政部 arXiv公司

参考文献：

[1] J.-G.Attali和G.Pageís，多层感知器函数逼近：一种新方法，神经网络。，10（1997年），第1069-1081页。
[2] P.L.Bartlett、D.J.Foster和M.J.Telgarsky，神经网络的光谱规范化边界，《神经信息处理系统会议记录》，2017年第30卷。
[3] P.L.Bartlett和S.Mendelson，《拉德马赫和高斯复杂性：风险边界和结构结果》，J.Mach。学习。研究，3（2002），第463-482页·Zbl 1084.68549号
[4] P.Bochev和M.Gunzburger，双曲问题的最小二乘法，《双曲问题数值方法手册：基本问题和基本问题》，R.Abgrall和C.-W.Shu编辑，Handb。数字。分析。17，Elsevier，纽约，2016年，第289-317页·Zbl 1352.65001号
[5] J.H.Bramble和A.H.Schatz，使用无边界条件的子空间解决Dirichlet问题的Rayleigh-Ritz-Galerkin方法，Comm.Pure Appl。数学。，23（1970年），第653-675页·Zbl 0204.11102号
[6] S.Cai、Z.Wang、F.Fuest、Y.J.Jeon、C.Gray和G.E.Karniadakis，《浓缩咖啡杯上的流动：通过物理信息神经网络从断层背景纹影法推断三维速度和压力场》，J.Fluid Mech。，915（2021），A102·Zbl 1461.76417号
[7] S.Cai、Z.Wang、S.Wang、P.Perdikaris和G.E.Karniadakis，《传热问题的物理信息神经网络》，《传热杂志》，143（2021），060801，https://doi.org/10.1115/1.4050542。
[8] P.Cardaliaguet和G.Euvrard，用神经网络逼近函数及其导数，神经网络。，5（1992年），第207-220页。
[9] Y.Chen，L.Lu，G.E.Karniadakis和L.Dal Negro，纳米光学和超材料反问题的物理信息神经网络，《光学快报》，28（2020），第11618-11633页。
[10] T.De Ryck、A.D.Jagtap和S.Mishra，《物理信息神经网络逼近Navier-Stokes方程的误差估计》，预印本，arXiv:2203.093462022年。
[11] A.D.Jagtap和G.E.Karniadakis，扩展物理知情神经网络（XPINNs）：非线性偏微分方程的基于广义时空域分解的深度学习框架，Commun。计算。物理。，28（2020），第2002-2041页·Zbl 07419158号
[12] A.D.Jagtap、K.Kawaguchi和G.E.Karniadakis，自适应激活函数加速了深度和物理信息神经网络的收敛，J.Compute。物理。，404 (2020), 109136. ·Zbl 1453.68165号
[13] A.D.Jagtap、E.Kharazmi和G.E.Karniadakis，守恒定律离散域上的保守物理信息神经网络：正问题和反问题的应用，计算。方法应用。机械。工程师，365（2020），113028·兹比尔1442.92002
[14] X.Jin，S.Cai，H.Li和G.E.Karniadakis，NSFnets（Navier-Stokes流网）：不可压缩Navier-Stokes方程的物理信息神经网络，J.Compute。物理。，426 (2021), 109951. ·兹伯利07510065
[15] K.Kawaguchi，《没有不良局部极小值的深度学习》，摘自《神经信息处理系统会议记录》（NeurIPS），2016年，第586-594页。
[16] K.Kawaguchi，《关于内隐深度学习理论：具有内隐层的全球趋同》，载于《学习表征国际会议论文集》，2021年。
[17] K.Kawaguchi、L.P.Kaelbling和Y.Bengio，深度学习中的泛化，《深度学习的数学方面》，P.Grohs和G.Kutyniok编辑，剑桥大学出版社，英国剑桥，即将出版·Zbl 1512.68298号
[18] D.P.Kingma和J.Ba，Adam：随机优化方法，《学习表征国际会议论文集》，2015年。
[19] D.C.Liu和J.Nocedal，关于大规模优化的有限内存BFGS方法，数学。程序。，45（1989），第503-528页·Zbl 0696.90048号
[20] J.Lu、Y.Lu和M.Wang，解高维椭圆方程的深层Ritz方法的先验泛化分析，《第三十四届学习理论会议论文集》，2021年。
[21] T.Luo和H.Yang，《偏微分方程的双层神经网络：优化和泛化理论》，预印本，arXiv:2006.15733，2020年。
[22] S.Mishra和R.Molinaro，物理信息神经网络（PINNs）用于近似PDE的泛化误差估计，预印本，arXiv:2006.161442020。
[23] B.Neyshabur、S.Bhojanapalli、D.McAllester和N.Srebro，《探索深度学习中的泛化》，《神经信息处理系统会议记录》，2017年。
[24] T.Poggio、H.Mhaskar、L.Rosasco、B.Miranda和Q.Liao，《为什么以及何时深层而非浅层网络可以避免维度诅咒：国际汽车杂志》。计算。，14（2017），第503-519页。
[25] M.Raissi、P.Perdikaris和G.E.Karniadakis，《以物理为基础的神经网络：解决涉及非线性偏微分方程的正问题和逆问题的深度学习框架》，J.Compute。物理。，378（2019），第686-707页·Zbl 1415.68175号
[26] T.D.Ryck和S.Mishra，《物理信息神经网络（PINNs）逼近Kolmogorov偏微分方程的误差分析》，预印本，arXiv:2106.144732021。
[27] Y.Shin、J.Darbon和G.E.Karniadakis，关于线性二阶椭圆和抛物线型偏微分方程的物理信息神经网络的收敛性，Commun。计算。物理。，28（2020），第2042-2074页·Zbl 1473.65349号
[28] Y.Shin，Z.Z.Zhang和G.E.Karniadakis，使用神经网络对线性偏微分方程进行残差最小化的误差估计，预印本，arXiv:2010.08019，2020。
[29] E.Weinan、C.Ma和L.Wu，两层神经网络泛化误差的先验估计，Commun。数学。科学。，17 (2019). ·Zbl 1427.68277号
[30] E.Weinan和S.Wojtowytsch，《与多层ReLU网络相关的Banach空间：函数表示、逼近理论和梯度下降动力学》，预印本，arXiv:2007.156232020。
[31] K.Xu、M.Zhang、S.Jegelka和K.Kawaguchi，图神经网络优化：通过跳跃连接和更深入的隐式加速，《机器学习国际会议论文集》，2021年。
[32] M.Yin、X.Zheng、J.D.Humphrey和G.E.Karniadakis，利用物理信息神经网络对血栓材料属性进行非侵入性推断，计算机。方法应用。机械。工程，375（2021），113603·Zbl 1506.74215号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。