王思凡;于新岭;巴黎佩迪卡里斯 PINN何时以及为何无法训练：神经切线内核视角。 （英语） Zbl 07524768号 J.计算。物理学。 449，文章ID 110768，28 p.（2022）. 摘要：基于物理的神经网络（PINN）最近受到了极大的关注，因为它在处理涉及偏微分方程的广泛正问题和逆问题方面具有灵活性。然而，尽管它们在经验上取得了显著的成功，但对于此类受限神经网络在通过梯度下降进行训练期间的行为却知之甚少。更重要的是，对于为什么这些模型有时根本无法训练，人们知之甚少。在这项工作中，我们旨在通过神经切线核（NTK）的透镜来研究这些问题；通过梯度下降捕捉训练过程中无限宽度限制下全连接神经网络行为的核。具体地，我们推导了PINN的NTK，并证明了在适当的条件下，它收敛到一个在无限宽度极限下训练时保持不变的确定核。这使我们能够通过其极限NTK的透镜来分析PINN的训练动力学，并发现导致总训练误差的不同损失分量的收敛速度存在显著差异。为了解决这一基本病理问题，我们提出了一种新的梯度下降算法，该算法利用NTK的特征值自适应校准总训练误差的收敛速度。最后，我们进行了一系列数值实验，以验证我们理论的正确性和所提算法的实际有效性。本手稿附带的数据和代码可在以下网址公开获取：https://github.com/PredictiveIntelligenceLab/PINNsNTK（预测智能实验室）. 引用于86文件 MSC公司： 68次发射 人工智能 6500万 偏微分方程、初值和含时初边值问题的数值方法 35季度xx 数学物理偏微分方程及其他应用领域 关键词：基于物理的神经网络;光谱偏差;多任务学习;梯度下降;科学机器学习 软件：亚当;深XDE;DeepONet（深度网络）;自动损失;软自适应;github;梯度规范;FPIN编号;PIN码NTK码;NSF网络;DGM公司 PDF格式BibTeX公司 XML格式引用 \textit{S.Wang}等人，J.Compute。物理学。449，文章ID 110768，28 p.（2022；Zbl 07524768） 全文： 内政部 arXiv公司 参考文献： [1] 马齐亚·莱斯；亚兹达尼，阿里雷扎；Karniadakis，George Em，隐藏的流体力学：从流动可视化中学习速度和压力场，科学，367，6481，1026-1030（2020）·Zbl 1478.76057号 [2] 孙鲁宁；高，韩；潘绍武；王建勋，基于物理约束的无模拟数据深度学习的流体流动替代建模，计算机。方法应用。机械。工程，361，第112732条pp.（2020）·兹比尔1442.76096 [3] 马齐亚·莱斯；赫萨姆·巴贝；Givi，Peyman，湍流标量混合的深度学习，物理。《流体版本》，第4、12条，第124501页（2019年） [4] 马齐亚·莱斯；王志成；Michael S.Triantafylou。；George Em，Karniadakis，《涡激振动的深度学习》，J.流体力学。，861, 119-137 (2019) ·Zbl 1415.76177号 [5] 金小伟；蔡盛泽；李慧；Karniadakis，George Em，NSFnets（Navier-Stokes流网）：不可压缩Navier-Stokes方程的物理信息神经网络（2020），arXiv预印本 [6] 萨赫利·科斯塔巴尔，弗朗西斯科；杨一波；巴黎佩迪卡里斯；Daniel E.Hurtado。；Kuhl，Ellen，《心脏激活映射的物理信息神经网络》，Front。物理。，8, 42 (2020) [7] 乔治·基萨斯（Georgios Kissas）；杨一波；Hwuang，Eileen；Walter R.Witschey。；Detre，John A。；Perdikaris，Paris，《心血管血流建模中的机器学习：使用物理信息神经网络从无创4D流MRI数据预测动脉血压》，计算机。方法应用。机械。工程，358，第112623条pp.（2020）·Zbl 1441.76149号 [8] 方志伟；詹，贾斯汀，超材料设计的深度物理信息神经网络，IEEE Access，824506-24513（2019） [9] 刘德豪；王燕，多精度物理约束神经网络及其在材料建模中的应用，J.Mech。设计。，141, 12 (2019) [10] 陈玉尧；卢，卢；Karniadakis，George Em；Dal Negro，Luca，《纳米光学和超材料反问题的物理信息神经网络》，Opt。快递，28，8，11618-11633（2020） [11] 王思凡；Perdikaris，巴黎，自由边界和Stefan问题的深度学习（2020），arXiv预印本 [12] 杨一波；Perdikaris，Paris，《物理信息神经网络中的对抗不确定性量化》，J.Compute。物理。，394136-152（2019）·Zbl 1452.68171号 [13] 朱银浩；尼古拉斯·扎巴拉斯；库苏雷拉基斯（Koutsourelakis），斐敦-斯泰利斯（Phaedon-Stelios）；巴黎Perdikaris，《无标记数据的高维代理建模和不确定性量化的物理约束深度学习》，J.Compute。物理。，394, 56-81 (2019) ·Zbl 1452.68172号 [14] 杨一波；Perdikaris，巴黎，Physics-informed deep generative models（2018），arXiv预印本·Zbl 1452.68171号 [15] 孙鲁宁；Wang，Jian-Xun，利用稀疏和噪声数据重建流体流动的物理约束贝叶斯神经网络（2020），arXiv预印本 [16] 杨柳；孟旭辉；Karniadakis，George Em，B-PINNs:带噪声数据的正向和反向PDE问题的贝叶斯物理信息神经网络（2020），arXiv预印本 [17] 贾斯汀·西里尼亚诺；Spiliopoulos，Konstantinos，DGM：解偏微分方程的深度学习算法，J.Compute。物理。，375, 1339-1364 (2018) ·Zbl 1416.65394号 [18] 韩洁群；阿努尔夫·詹岑（Arnulf Jentzen）；Weinan，E.，使用深度学习求解高维偏微分方程，Proc。国家。阿卡德。科学。美国，115、34、8505-8510（2018）·Zbl 1416.35137号 [19] 张冬坤；郭玲；Karniadakis，George Em，《模态空间中的学习：使用物理信息神经网络求解依赖时间的随机偏微分方程》，SIAM J.Sci。计算。，42、2、A639-A665（2020）·Zbl 1440.60067号 [20] 庞国飞；鲁，鲁；Karniadakis，George Em，《分数物理信息神经网络》，SIAM J.Sci。计算。，41，4，A2603-A2626（2019）·兹比尔1420.35549 [21] 庞国飞；玛尔塔·德埃利亚；迈克尔·帕克斯；Karniadakis，George E.，nPINNs:参数化非局部通用拉普拉斯算子的非局部物理信息神经网络。算法与应用（2020），arXiv预印本·Zbl 07508384号 [22] 亚历山大·塔塔科夫斯基（Alexandre M.Tartakovsky）。；卡洛斯·奥尔蒂斯·马拉罗（Carlos Ortiz Marrero）；巴黎佩迪卡里斯；塔尔塔科夫斯基，Guzel D。；Barajas-Solano，David，学习参数和与物理相关的深层神经网络的本构关系（2018），arXiv预印本 [23] 鲁，鲁；金、彭湛；Karniadakis，George Em，DeepONet：基于算子的普遍逼近定理学习用于识别微分方程的非线性算子（2019），arXiv预印本 [24] 塔塔科夫斯基，A.M。；Ortiz Marrero，C。；巴黎佩迪卡里斯；塔塔科夫斯基，G.D。；Barajas-Solano，D.，《用于地下水流问题中学习参数和本构关系的基于物理的深层神经网络》，《水资源》。决议，56，5，条款e2019WR026731 pp.（2020） [25] Shin，Yeonjong；杰罗姆·达邦；乔治·埃姆（George Em），卡尼亚达基斯（Karniadakis），《关于物理信息神经网络的收敛和推广》（2020年），arXiv预印本·Zbl 1473.65349号 [26] 哈姆迪·A·切列皮。；Fuks，Olga，《多孔介质中非线性两相传输物理信息机器学习的局限性》，J.Mach。学习。模型。计算。，1, 1 (2020) [27] Raissi，Maziar，《深层隐藏物理模型：非线性偏微分方程的深层学习》，J.Mach。学习。第19、1932-955号决议（2018年）·Zbl 1439.68021号 [28] 王思凡；滕玉君；Perdikaris，巴黎，《理解和缓解物理信息神经网络中的梯度病理学》（2020年），arXiv预印本·Zbl 1530.68232号 [29] 纳西姆·拉哈曼；阿里斯蒂德·巴拉丁；Arpit，Devansh；费利克斯·德拉克斯勒；林敏（Lin，Min）；弗雷德·汉普雷希特（Fred Hamprecht）；约书亚·本吉奥；Aaron Courville，On the spectral bias of neural networks，（机器学习国际会议（2019）），5301-5310 [30] 曹、袁；方志英；吴越；周、丁轩；顾全全，《理解深度学习的光谱偏差》（2019），arXiv预印本 [31] 马修·坦西克；Pratul P.Srinivasan。；本·米尔登霍尔；Fridovich-Keil，Sara；拉格哈万（Nithin Raghavan）；犹他州辛格哈尔；拉维·拉玛穆蒂；乔纳森·巴伦（Jonathan T.Barron）。；Ng，Ren，Fourier特性让网络学习低维域中的高频函数（2020），arXiv预印本 [32] 罗恩·巴斯里（Ronen Basri）；梅拉夫·加伦；Amnon Geifman；戴维·雅各布斯（David Jacobs）；尤尼·卡斯滕；Kritchman，Shira，非均匀密度输入神经网络中的频率偏差（2020年），arXiv预印本 [33] 亚瑟·杰科特；弗兰克·加布里埃尔；Hongler，Clément，《神经切线核：神经网络中的收敛和泛化》，（神经信息处理系统进展（2018）），8571-8580 [34] Yang，Greg，具有权重分担的宽神经网络的缩放极限：高斯过程行为、梯度独立性和神经切线核求导（2019），arXiv预印本 [35] 亚历山大·G·德。；马修斯，G。；马克·罗兰（Mark Rowland）；Hron，Jiri；理查德·特纳（Richard E.Turner）。；Ghahramani，Zoubin，广深神经网络中的高斯过程行为（2018），arXiv预印本 [36] Lee，Jaehoon；亚萨曼·巴赫里；诺瓦克，罗马人；塞缪尔·肖恩霍尔茨（Samuel S.Schoenholz）。；杰弗里·彭宁顿；Sohl-Dickstein，Jascha，Deep neural networks as Gaussian processes（2017），arXiv预印本·Zbl 07330523号 [37] 麦凯（MacKay）、大卫·J.C.（David J.C.），《高斯过程简介》，北约ASI F系列计算机和系统科学，第168卷，第133-166页（1998年）·Zbl 0936.68081号 [38] 桑吉耶夫·阿罗拉；杜，西蒙S。；胡伟；李志远；俄罗斯联邦萨拉赫季诺夫。；王若松，关于无限宽神经网络的精确计算，（神经信息处理系统进展（2019）），8141-8150 [39] 马齐亚·莱斯；巴黎佩迪卡里斯；George E.Karniadakis，《基于物理的神经网络：用于解决涉及非线性偏微分方程的正问题和逆问题的深度学习框架》，J.Compute。物理。，378, 686-707 (2019) ·Zbl 1415.68175号 [40] Lee，Jaehoon；肖乐超；塞缪尔·肖恩霍尔茨（Samuel Schoenholz）；巴赫里，亚萨曼；诺瓦克，罗马人；苏尔·迪克斯坦（Jascha Sohl-Dickstein）；Jeffrey Pennington，Wide neural networks of any depth evolution as linear models under gradient descent（神经信息处理系统进展（2019）），8572-8583·Zbl 07330523号 [41] 徐志琴约翰；张耀玉；罗、陶；肖延阳；马，郑，频率原理：傅里叶分析揭示了深层神经网络（2019），arXiv预印本·Zbl 1507.68279号 [42] 巴斯里·罗南；戴维·雅各布斯（David Jacobs）；尤尼·卡斯滕；Kritchman，Shira，不同频率学习函数的神经网络收敛速度，（神经信息处理系统进展（2019）），4761-4771 [43] 鲁，鲁；孟旭辉；毛志平；Karniadakis，George E.，DeepXDE:解微分方程的深度学习库（2019），arXiv预印本·Zbl 1459.65002号 [44] Moin，Parviz，《工程数值分析基础》（2010），剑桥大学出版社·Zbl 1228.65003号 [45] Evans，L.C.，美国数学学会。偏微分方程，数学研究生课程（1998），美国数学学会·Zbl 0902.35002号 [46] 泽维尔·格洛洛特；Yoshua Bengio，《理解深度前馈神经网络训练的困难》（第十三届国际人工智能与统计会议论文集（2010）），249-256 [47] Kingma，Diederik P。；Ba Adam，Jimmy，《随机优化方法》（2014），arXiv预印本 [48] 陈，赵；维杰省巴德里纳亚南；李、陈瑜；Andrew Rabinovich，GradNorm:深度多任务网络中自适应损失平衡的梯度归一化，（机器学习国际会议（2018），PMLR），794-803 [49] 徐浩文；张浩；胡志婷；梁晓丹；萨拉库丁诺夫，鲁斯兰；Xing，Eric，AutoLoss:学习离散计划以进行交替优化（2018），arXiv预打印 [50] Ali Heydari，A。；克雷格·A·汤普森。；Mehmood，Asif，SoftAdapt:具有多部分损失函数的神经网络的自适应损失加权技术（2019），arXiv预印本 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。