跳到内容

预测智能实验室/PINNsNTK

文件夹和文件

姓名姓名
上次提交消息
上次提交日期

最新提交

 

历史

8承诺
 
 
 
 
 
 
 
 

存储库文件导航

PINN何时及为何无法训练:一个神经切线核的观点

由王思凡(Sifan Wang)、俞欣玲(Xinling Yu)和帕丽斯·佩迪卡里斯(Paris Perdikaris)撰写的题为“PINN何时以及为何无法训练:神经切线内核透视图”的手稿附带的代码和数据(可按要求提供)。

摘要

基于物理信息的神经网络(PINN)由于在处理涉及偏微分方程的广泛正问题和逆问题方面的灵活性,最近受到了极大的关注。然而,尽管它们在经验上取得了显著的成功,但人们对这种受约束的神经网络在通过梯度下降进行训练时的行为知之甚少。更重要的是,对于为什么这些模型有时根本无法训练,人们知之甚少。在这项工作中,我们旨在通过神经切线核(NTK)的透镜来研究这些问题;通过梯度下降捕捉训练过程中无限宽度限制下全连接神经网络行为的核。具体来说,我们推导出了NTK并证明了在适当的条件下,它收敛到一个在无限宽度极限下训练时保持不变的确定核。这使我们能够通过其极限NTK的透镜来分析PINN的训练动力学,并发现导致总训练误差的不同损失分量的收敛速度存在显著差异。为了解决这一基本病理,我们提出了一种新的梯度下降算法,该算法利用NTK的特征值自适应地校准总训练误差的收敛速度。最后,我们进行了一系列数值实验,以验证我们理论的正确性和所提算法的实际有效性。

引用

@第{wang2021条和,title={PINN何时以及为何无法训练:神经切线内核视角},author={Wang,Sifan and Yu,Xinling and Perdikaris,巴黎},journal={计算物理杂志},页数={110768},年份={2021},publisher={Elsevier}}