王思凡;王汉文;巴黎佩迪卡里斯 傅里叶特征网络的特征向量偏差：从回归到用物理信息神经网络求解多尺度偏微分方程。 （英语） Zbl 1506.35130号 计算。方法应用。机械。工程师。 384，文章ID 113938，28 p.（2021）。 摘要：物理信息神经网络（PINN）在将物理模型与间隙和噪声观测数据相结合方面表现出了非凡的前景，但在待逼近的目标函数表现出高频或多尺度特征的情况下，PINN仍然很难实现。在这项工作中，我们通过神经切线核（NTK）理论的透镜来研究这一局限性，并阐明PINN是如何沿着其限制NTK的主导特征方向偏向学习函数的。利用这一观察结果，我们构建了采用时空和多尺度随机傅里叶特征的新体系结构，并证明了这种坐标嵌入层如何能够产生健壮而准确的PINN模型。针对传统PINN模型失效的几个具有挑战性的案例，包括波传播和反应扩散动力学，给出了数值例子，说明了如何使用所提出的方法有效地处理涉及多尺度行为的偏微分方程的正问题和逆问题。本手稿附带的所有代码和数据将在https://github.com/PredictiveIntelligenceLab/MultiscalePINNs（预测智能实验室/多尺度PINN）。 引用于46文件 MSC公司： 35P05号 偏微分方程线性谱理论的一般主题 42B10型 Fourier和Fourier-Stieltjes变换以及其他Fourier类型的变换 65号35 偏微分方程边值问题的谱、配置及相关方法 68T05型 人工智能中的学习和自适应系统 关键词：光谱偏差;深度学习;神经切线核;偏微分方程;科学机器学习 软件：切布冯;马特普洛特利布;数字Py;NSF网络;PIN码NTK码;PhyGeoNet（物理地理网）;MscaleDNN公司;DiffSharp（差异锐化）;github;日本宇宙航空公司;亚当;DeepONet（深度网络） PDF格式BibTeX公司 XML格式引用 \textit{S.Wang}等人，计算。方法应用。机械。工程384，文章ID 113938，28 p.（2021；Zbl 1506.35130） 全文： 内政部 arXiv公司 参考文献： [1] Baydin，在Günes；皮尔穆特，巴拉克·A。；阿列克谢·安德烈耶维奇（Alexey Andreyevich Radul）；Jeffrey Mark Siskind，《机器学习中的自动差异化：一项调查》，J.Mach。学习。研究，18，1，5595-5637（2017）·兹伯利06982909 [2] Psichogios，Dimitris C。；Ungar，Lyle H.，过程建模的混合神经网络第一原理方法，AIChE J.，38，10，1499-1511（1992） [3] Isaac E.Lagaris。；利卡斯，阿里斯蒂迪斯；Fotiadis，Dimitrios I.，求解常微分方程和偏微分方程的人工神经网络，IEEE Trans。神经网络。，9, 5, 987-1000 (1998) [4] 马齐亚·莱斯；巴黎佩迪卡里斯；George E.Karniadakis，《基于物理的神经网络：解决涉及非线性偏微分方程的正问题和逆问题的深度学习框架》，J.Compute。物理。，378, 686-707 (2019) ·Zbl 1415.68175号 [5] Shin，Yeonjong；杰罗姆·达邦；Karniadakis，George Em.，关于线性二阶椭圆和抛物线型偏微分方程的物理信息神经网络的收敛性（2020）·Zbl 1473.65349号 [6] 王思凡；于新玲；Perdikaris，Paris，《PINN何时以及为何无法训练：神经切线内核视角》（2020），arXiv预印本arXiv:2007.14527 [7] 罗、陶；杨海钊，《偏微分方程的双层神经网络：优化与泛化理论》（2020），arXiv预印本arXiv:2006.15733 [8] Shin，Yeonjong；张忠强；Karniadakis，George Em.，使用神经网络对线性偏微分方程进行残差最小化的误差估计（2020），arXiv预印本arXiv:2010.08019 [9] 李宗毅；科瓦奇奇，尼古拉；阿齐扎德涅谢利（Azizzadenesheli），卡姆亚尔（Kamyar）；刘，布里吉德；考希克·巴塔查里亚；安德鲁·斯图亚特（Andrew Stuart）；Anandkumar，Anima，参数偏微分方程的Fourier神经算子（2020），arXiv预印本arXiv:2010.08895 [10] 朱银浩；尼古拉斯·扎巴拉斯；Koutsourlakis、Phaedon Stelios；巴黎Perdikaris，《无标记数据的高维代理建模和不确定性量化的物理约束深度学习》，J.Compute。物理。，394, 56-81 (2019) ·Zbl 1452.68172号 [11] 太阳，鲁宁；高，韩；潘绍武；王建勋，基于物理约束的无模拟数据深度学习的流体流动替代建模，计算机。方法应用。机械。工程，361，第112732条pp.（2020）·Zbl 1442.76096号 [12] 马齐亚·莱斯；亚兹达尼（Alireza Yazdani）；George Em.Karniadakis，《隐藏流体力学：从流动可视化中学习速度和压力场》，《科学》，367，6481，1026-1030（2020）·Zbl 1478.76057号 [13] 金小伟；蔡盛泽；李慧；Karniadakis，George Em.，Nsfnets（Navier-Stokes流网）：不可压缩Navier-Stokes方程的物理信息神经网络（2020），arXiv预印本arXiv:2003.06496 [14] 布兰登·雷耶斯；阿曼达·A·霍华德。；巴黎佩迪卡里斯；塔塔科夫斯基，亚历山大·M·，《学习非牛顿流体的未知物理》（2020），arXiv预印本arXiv：2009.01658 [15] Costabal，Francisco Sahli；杨一博；巴黎佩迪卡里斯；Daniel E.Hurtado。；Kuhl，Ellen，《心脏激活映射的物理信息神经网络》，Front。物理。，8, 42 (2020) [16] 乔治·基萨斯（Georgios Kissas）；杨一波；Hwuang，Eileen；Walter R.Witschey。；Detre，John A。；Perdikaris，巴黎，《心血管血流建模中的机器学习：使用物理信息神经网络从无创4D流MRI数据预测动脉血压》，计算机。方法应用。机械。工程，358，第112623条pp.（2020）·Zbl 1441.76149号 [17] 亚兹达尼（Alireza Yazdani）；鲁，鲁；马齐亚·莱斯；Karniadakis，George Em.，系统生物学为推断参数和隐藏动力学提供了深度学习，PLoS Comput。生物学，16，11，文章e1007575 pp.（2020） [18] 方志伟；詹，贾斯汀，超材料设计的深度物理信息神经网络，IEEE Access，824506-24513（2019） [19] 余姚陈；鲁，鲁；乔治·埃姆卡尼亚达基斯。；Negro，Luca Dal，《纳米光学和超材料反问题的物理信息神经网络》，Opt。快递，28，8，11618-11633（2020） [20] 王思凡；Perdikaris，巴黎，《自由边界和Stefan问题的深度学习》（2020），arXiv预印本arXiv:2006.05311 [21] 杨柳；孟旭辉；George Em.Karniadakis，《B-binns:含噪数据的正向和反向偏微分方程问题的贝叶斯物理信息神经网络》（2020），arXiv预印本arXiv:2003.06097 [22] 杨一波；穆罕默德·阿齐兹·博里；Perdikaris，Paris，《不确定性下鲁棒系统辨识的贝叶斯微分规划》，Proc。R.Soc.A：数学。物理学。工程科学。，4762243，第20200290条pp.（2020）·Zbl 1472.68166号 [23] 韩洁群；阿努尔夫·詹岑（Arnulf Jentzen）；Weinan，E.，使用深度学习求解高维偏微分方程，Proc。国家。阿卡德。科学。，115, 34, 8505-8510 (2018) ·Zbl 1416.35137号 [24] Raissi，Maziar，前向随机神经网络：高维偏微分方程的深度学习（2018），arXiv预印本arXiv:1804.07010·Zbl 1439.68021号 [25] 卡鲁穆里，沙米拉；三位一体，罗希特；伊利亚斯·比利奥尼斯；Panchal，Jitesh，使用深层神经网络的高维随机椭圆偏微分方程的无模拟解，J.Compute。物理。，404，第109120条pp.（2020）·Zbl 1453.65021号 [26] 杨一波；Perdikaris，Paris，《物理信息神经网络中的对抗不确定性量化》，J.Compute。物理。，394, 136-152 (2019) ·Zbl 1452.68171号 [27] 卢，卢；金、彭湛；Karniadakis，George Em.，DeepONet:学习非线性算子，基于算子的普遍逼近定理识别微分方程（2019），arXiv预印本arXiv:1910.03193 [28] 高，韩；孙鲁宁；Wang，Jian-Xun，PhyGeoNet:基于物理的几何自适应卷积神经网络，用于求解不规则域上的参数偏微分方程（2020），arXiv预印本arXiv:2004.13145 [29] 王思凡；滕玉君；Perdikaris，巴黎，《理解和缓解物理信息神经网络中的梯度病理学》（2020年），arXiv预印本arXiv:2001.04536 [30] 拉维·帕特尔（Ravi G.Patel）。；印度马尼卡姆；Nathaniel A.Trask。；伍德，米切尔A。；Lee，Myoungkyu；伊格纳西奥·托马斯；Cyr，Eric C.，双曲型系统的热力学一致性物理信息神经网络（2020），arXiv预印本arXiv:2012.05343 [31] 纳西姆·拉哈曼；阿里斯蒂德·巴拉丁；Arpit，Devansh；费利克斯·德拉克斯勒；林敏（Lin，Min）；弗雷德·汉普雷希特（Fred Hamprecht）；本吉奥，约舒亚；Aaron Courville，On the spectral bias of neural networks，（机器学习国际会议（2019）），5301-5310 [32] 曹元；方志英；吴越；周定川；顾全全，《理解深度学习的光谱偏差》（2019），arXiv预印本arXiv:1912.01198 [33] 巴斯里·罗南；戴维·雅各布斯（David Jacobs）；尤尼·卡斯滕；Kritchman，Shira，不同频率学习函数的神经网络收敛速度，（神经信息处理系统进展（2019）），4761-4771 [34] 亚瑟·杰科特；弗兰克·加布里埃尔；Hongler，Clément，《神经切线核：神经网络中的收敛和泛化》，（神经信息处理系统进展（2018）），8571-8580 [35] 桑吉耶夫·阿罗拉；杜，西蒙S。；胡伟；李志远；俄罗斯共和国萨拉库丁诺夫。；王若松，关于无限宽神经网络的精确计算，（神经信息处理系统进展（2019）），8141-8150 [36] Lee，Jaehoon；肖乐超；塞缪尔·肖恩霍尔茨（Samuel Schoenholz）；亚萨曼·巴赫里；诺瓦克，罗马人；Sohl Dickstein，Jascha；Jeffrey Pennington，Wide neural networks of any depth evolution as linear models under gradient descent（神经信息处理系统进展（2019）），8572-8583·Zbl 07330523号 [37] 弗朗西斯·威廉姆斯；马修·特拉格（Matthew Trager）；克劳迪奥·席尔瓦；丹尼尔·帕诺佐（Daniele Panozzo）；丹尼斯·佐林（Denis Zorin）；Bruna，Joan，浅层单变量相对网络的梯度动力学（2019），arXiv预印本arXiv:1906.07842 [38] 王波；张文忠；蔡伟，复域振荡斯托克斯流的多尺度深度神经网络（MscaleDNN）方法（2020），arXiv预印本arXiv:2009.12729 [39] 李，西安；徐志琴约翰；张磊，基于DNN的多尺度椭圆问题算法（2020），arXiv预印arXiv:2009.14597 [40] 刘子奇；蔡伟；Xu，Zhi-Qin John，用于求解复域泊松-玻尔兹曼方程的多尺度深度神经网络（MscaleDNN）（2020），arXiv预印本arXiv:2007.11207 [41] 马修·坦西克；Pratul P.Srinivasan。；本·米尔登霍尔；Fridovich-Keil，Sara；拉格哈万（Nithin Raghavan）；乌特卡什Singhal；拉维·拉玛穆蒂；乔纳森·巴伦（Jonathan T.Barron）。；Ng，Ren，Fourier特性让网络学习低维域中的高频函数（2020），arXiv预印本arXiv:2006.10739 [42] 卢，卢。；佩斯托里，拉斐尔；姚文杰；王志成；弗朗西斯科·威尔杜戈；Johnson，Steven G.，逆向设计硬约束的物理信息神经网络（2021），arXiv预印本arXiv:2102.04626 [43] Kingma，Diederik P。；Ba，Jimmy，Adam：随机优化方法（2014），arXiv预印本arXiv:1412.6980 [44] Shawe Taylor，约翰；克里斯托弗·威廉姆斯（Christopher K.I.Williams）。；克里斯蒂亚尼尼，内洛；Jaz Kandola，关于gram矩阵的特征谱和核PCA的泛化误差，IEEE Trans。通知。理论，51，72510-20522（2005）·Zbl 1310.15076号 [45] （偏微分方程。偏微分方程，数学研究生（1998），美国数学学会）·Zbl 0913.35001号 [46] Hesthaven，Jan S。；西格尔·戈特利布；David Gottlieb，《时间相关问题的谱方法》，第21卷（2007），剑桥大学出版社·Zbl 1111.65093号 [47] Xavier Glrot，Yoshua Bengio，《理解深度前馈神经网络训练的困难》，载于：《第十三届人工智能与统计国际会议论文集》，2010年，第249-256页。 [48] 彼得·格雷；Scott，Stephen K.，《化学振荡和不稳定性：非线性化学动力学》（1990） [49] 托宾·A·德里斯科尔。；尼古拉斯·黑尔（Nicholas Hale）；Trefethen，Lloyd N.，Chebfun指南（2014） [50] 史蒂文·考克斯（Steven M.Cox）。；Matthews，Paul C.，刚性系统的指数时间差分，J.Compute。物理。，176, 2, 430-455 (2002) ·兹比尔1005.65069 [51] Sivashinsky，G.I.，层流火焰中流体动力不稳定性的非线性分析——I。基本方程的推导，AcAau，4，11，1177-1206（1977）·Zbl 0427.76047号 [52] Kuramoto，Yoshiki，反应系统中的扩散诱导混沌，Progr。定理。物理学。补遗，64，346-367（1978） [53] 詹姆斯·布拉德伯里（James Bradbury）；罗伊·弗罗斯蒂格（Roy Frostig）；彼得·霍金斯（Peter Hawkins）；马修·詹姆斯·约翰逊（Matthew James Johnson）；李里，克里斯；道戈尔·麦克劳林（Dougal Maclaurin）；Necula，George；亚当·帕斯克（Adam Paszke）；Jake VanderPlas；Wanderman-Millne，Skye；Zhang，Qiao，JAX:Python+NumPy程序的可组合转换（2018） [54] Hunter，John D.，Matplotlib：二维图形环境，IEEE Ann.Hist。计算。，9, 03, 90-95 (2007) [55] 查尔斯·哈里斯（Charles R.Harris）。；Millman，K.Jarrod；范德华特，斯特凡·J。；拉尔夫·戈默斯（Ralf Gommers）；泡利·维塔宁（Pauli Virtanen）；大卫·库纳波（David Cournapeau）；埃里克·威瑟（Eric Wieser）；朱利安·泰勒（Julian Taylor）；塞巴斯蒂安·伯格；Nathaniel J.Smith，《使用numpy进行数组编程》，《自然》，585、7825、357-362（2020） 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。