×

PIN码NTK码

swMATH ID: 42058
软件作者： 王思凡；于新玲；巴黎佩迪卡里斯
描述： PINN何时以及为何无法训练：神经切线内核视角。基于物理信息的神经网络（PINN）由于在处理涉及偏微分方程的广泛正问题和逆问题方面的灵活性，最近受到了极大的关注。然而，尽管它们在经验上取得了显著的成功，但对于此类受限神经网络在通过梯度下降进行训练期间的行为却知之甚少。更重要的是，对于为什么这些模型有时根本无法训练，人们知之甚少。在这项工作中，我们旨在通过神经切线核（NTK）的透镜来研究这些问题；通过梯度下降捕捉训练过程中无限宽度限制下全连接神经网络行为的核。具体地，我们推导了PINN的NTK，并证明了在适当的条件下，它收敛到一个在无限宽度极限下训练时保持不变的确定核。这使我们能够通过其极限NTK的透镜来分析PINN的训练动力学，并发现导致总训练误差的不同损失分量的收敛速度存在显著差异。为了解决这一基本病理问题，我们提出了一种新的梯度下降算法，该算法利用NTK的特征值自适应校准总训练误差的收敛速度。最后，我们进行了一系列数值实验，以验证我们理论的正确性和所提算法的实际有效性。此手稿附带的数据和代码可在url上公开获取{https://github.com/PredictiveIntelligenceLab/PINNsNTK（预测智能实验室）}.
主页： https://arxiv.org/abs/2007.14527
源代码：  https://github.com/PredictiveIntelligenceLab/PINNsNTK（预测智能实验室）
关键词： 基于物理的神经网络;光谱偏差;多任务学习;梯度下降;科学机器学习
相关软件： 亚当;深XDE;DiffSharp（差异锐化）;XPIN编号;hp-车辆识别号;DGM公司;TensorFlow公司;DeepONet（深度网络）;PyTorch公司;FPIN编号;L-BFGS公司;NSF网络;PPINN公司;PhyGeoNet（物理地理网）;github;AlexNet公司;ImageNet公司;SciANN公司;MscaleDNN公司;梯度规范
引用于： 81文件

标准条款

1出版物描述软件，包括1出版物以zbMATH为单位 年份
PINN何时以及为何无法训练：神经切线内核视角。 Zbl 07524768号
王思凡;于新岭;巴黎佩迪卡里斯
2022
全部的 前5名

被246位作者引用

5 佩迪卡里斯，巴黎G。
5 王思凡
4 董素川
4 伊桑·哈希亚特
三 白金帅
三 顾远通
三 鲁本·胡安斯
三 乔治·埃姆·卡尼亚达基斯
三 鲁，鲁
三 大卫·帕尔多
2 Laith Alzubaidi
2 丹尼尔·阿米尼
2 Braga-Neto，Ulisses M。
2 崔涛
2 阿什什·古普塔
2 胡晓哲
2 刘应华
2 李维·麦克伦尼。
2 伊格纳西奥·穆加
2 马齐亚·莱斯
2 孙佳
2 亚历山大·塔塔科夫斯基。
2 杰米·泰勒。
2 王汉文
2 王仪征
2 向、雪霜
2 严，梁
2 杨洁林
2 钟，明
1 阿布伊达，迪亚布·W。
1 阿哈雷、迪帕克
1 罗塞拉·阿库奇
1 马西耶·巴拉朱维奇（Maciej J.Balajewicz）。
1 扬·亨德里克·巴斯特克
1 阿里·坎·贝卡尔
1 亚历克斯·比赫罗
1 拉明·博斯塔纳巴德
1 尼古拉斯·布克拉斯
1 蔡、李
1 曹、巴楚
1 曹福军
1 维克多·查帕尼
1 阿帕纳州钱德拉莫利什瓦兰
1 张志鹏
1 陈苗苗
1 陈文谦
1 陈亚萍
1 陈一凡
1 陈勇
1 弗朗西斯科·切妮斯塔
1 邱保雄
1 亚历山德罗·科森扎
1 埃米利奥·何塞·罗查·库蒂尼奥
1 萨尔瓦多科莫
1 戴超庆
1 马塞洛·达尔阿夸
1 刀，我的哈
1 邓祥云
1 戴维·迪·洛伦佐
1 哈比巴·埃尔达巴比
1 方、尹
1 查贝尔·H·法哈特。
1 冯新龙
1 冯西樵
1 汤姆·弗洛伊登伯格
1 傅金龙
1 傅睿
1 福格、扬·尼古拉斯
1 西蒙·冯克（Simon W.Funke）。
1 高一航
1 高志伟
1 乔舒亚·加西克
1 法比奥·詹保罗
1 爱德华多·吉尔丁
1 Héctor J.Gómez。
1 龚世波
1 戈塞林（Frédérick P.Gosselin）。
1 顾桐祥
1 顾一琦
1 埃尔曼·古勒鲁兹
1 郭嘉伟
1 郭晓斌
1 韩继勋
1 郝、朔
1 佩德拉姆Hassanzadeh
1 何乔林
1 何其志
1 海伦科特，尼克
1 亚历山大·亨克斯
1 巴马达·侯赛尼
1 塞巴斯蒂安侯德
1 胡丹
1 胡天豪
1 黄安迪
1 黄、高
1 黄云清
1 Hwang、Hyung Ju
1 乌韦·伊本
1 阿米亚·贾格塔普。
1 郑孝谷
…还有146位作者
全部的 前5名

21篇连载文章中引用

26 应用力学与工程中的计算机方法
25 计算物理杂志
5 计算机与数学及其应用
4 SIAM科学计算杂志
三 科学计算杂志
2 物理D
2 计算物理中的通信
1 反问题
1 国际工程数值方法杂志
1 计算与应用数学杂志
1 计算力学
1 林西国家学院（Atti della Accademia Nazionale dei Lincei）。科学类Fische，Matematiche e Naturali。第九系列Rendiconti Lincei。Matematica e Applicazioni公司
1 日本工业与应用数学杂志
1 国际计算机数学杂志
1 计算数学进展
1 欧洲力学杂志。A.固体
1 多尺度建模与仿真
1 分析与应用（新加坡）
1 国际计算方法杂志
1 东亚应用数学杂志
1 AMM公司。应用数学和力学。（英文版）
全部的 前5名

在15个字段中引用

65 数值分析（65-XX）
63 计算机科学（68至XX）
18 偏微分方程（35-XX）
14 可变形固体力学（74-XX）
12 流体力学（76-XX）
6 生物学和其他自然科学（92-XX）
三 统计学（62-XX）
2 运筹学、数学规划（90-XX）
1 常微分方程（34-XX）
1 动力系统和遍历理论（37至XX）
1 欧氏空间的调和分析（42至XX）
1 变分法与最优控制；最优化（49至XX）
1 全局分析，流形分析（58至XX）
1 经典热力学，传热（80-XX）
1 统计力学，物质结构（82-XX）

按年份列出的引文