×
宋燕杰;王，何;杨，何;玛丽亚·路易莎·塔卡里;陈晓辉

失去注意力的物理信息神经网络。 （英语） Zbl 07829506号

J.计算。物理学。 501，文章ID 112781，24 p.（2024）.
摘要：近年来，基于物理信息的神经网络（PINNs）已成为利用人工智能技术求解各种偏微分方程（PDE）的一项重大努力。然而，普通PINN模型结构在精确逼近难以拟合区域的解决方案方面遇到了挑战，例如，以时间尺度快速变化为特征的“刚度”点。为此，我们介绍了一种基于PINN的新型模型结构，称为有损注意物理信息神经网络（LA-PINN），它为每个损失分量配备一个独立的有损注意网络（LAN）。输入平方误差(东南方)在局域网的每个训练点上作为输入，然后由每个局域网建立注意力功能，并为不同的点提供不同的权重东南方s.提出了一种基于点错误的加权方法，该方法利用LA-PINN模型中多个网络之间的对抗训练来动态更新东南方在每个训练阶段。此外，分析了LA-PINN的称重机理，并通过几个数值实验进行了验证。实验结果表明，与vanilla PINN相比，该方法具有更好的预测性能和快速收敛特性。此外，它还可以通过逐步增加权重的增长率和点误差的更新梯度来促进那些难以拟合的点的收敛。

MSC公司：

68泰克 人工智能
6500万 偏微分方程、初值和含时初边值问题的数值方法
65-XX岁 数值分析

关键词：

物理信息神经网络;基于点误差的加权方法;失去注意力;新颖的建筑;神经网络

软件：

PPINN公司;DiffSharp（差异锐化）;亚当;PIN码NTK码;深XDE;hp-车辆识别号;L-BFGS公司;NSF网络
PDF格式BibTeX公司 XML格式引用
\textit{Y.Song}等人，J.Compute。物理学。501，文章ID 112781，24 p.（2024；Zbl 07829506）
全文： 内政部
OA许可证

参考文献：

[1] LeCun，Y。；Y.本吉奥。；Hinton，G.，《深度学习》，《自然》，521436-444（2015）
[2] Raissi先生。；佩尔迪卡里斯，P。；Karniadakis，G.E.，《基于物理的神经网络：用于解决涉及非线性偏微分方程的正问题和逆问题的深度学习框架》，J.Compute。物理。，378, 686-707 (2019) ·Zbl 1415.68175号
[3] Raissi，M.，前向随机神经网络：高维偏微分方程的深度学习（2018），arXiv预印本
[4] Dissanayake，M。；Phan-Thien，N.，解偏微分方程的基于神经网络的近似，Commun。数字。方法工程，10195-201（1994）·Zbl 0802.65102号
[5] 张，D。；卢，L。；郭，L。；Karniadakis，G.E.，量化物理信息神经网络中的总不确定性，用于解决正向和反向随机问题，J.Comput。物理。，397，第108850条pp.（2019）·Zbl 1454.65008号
[6] Baydin，A.G。；Pearlmutter，B.A。；Radul，A.A。；Siskind，J.M.，《机器学习中的自动差异化：一项调查》，J.Mach。学习。决议，18，1-43（2018）·Zbl 06982909号
[7] 蔡，S。；毛，Z。；王，Z。；尹，M。；Karniadakis，G.E.，《流体力学物理信息神经网络：综述》，《机械学报》。罪。，37, 1727-1738 (2021)
[8] 威拉德，J。；贾，X。；徐，S。；斯坦巴赫，M。；Kumar，V.，《将科学知识与工程和环境系统的机器学习相结合》，ACM Compute。调查。，55, 1-37 (2022)
[9] Praditia，T.，用于学习动态、分布式和不确定系统的基于物理的神经网络（2023）
[10] X孟。；李，Z。；张，D。；Karniadakis，G.E.，PPINN：时间依赖性偏微分方程的仿实物理信息神经网络，计算。方法应用。机械。工程，370，第113250条pp.（2020）·Zbl 1506.65181号
[11] Yang，L。；X孟。；Karniadakis，G.E.，B-PINNs:带噪声数据的正向和反向PDE问题的贝叶斯物理信息神经网络，J.Compute。物理。，425，第109913条pp.（2021）·Zbl 07508507号
[12] 蔡，S。；王，Z。；王，S。；佩尔迪卡里斯，P。；Karniadakis，G.E.，《传热问题的物理信息神经网络》，J.heat Transf。，143，第060801条，第（2021）页
[13] Karniadakis，G.E。；Kevrekidis，I.G。；卢，L。；佩尔迪卡里斯，P。；王，S。；Yang，L.，《基于物理的机器学习》，《国家物理评论》。，3, 422-440 (2021)
[14] 卢，L。；X孟。；毛，Z。；Karniadakis，G.E.，DeepXDE：解微分方程的深度学习库，SIAM Rev.，63，208-228（2021）·Zbl 1459.65002号
[15] Psaros，A.F。；川口，K。；Karniadakis，G.E.，元学习PINN损失函数，J.Compute。物理。，458，第111121条pp.（2022）·Zbl 07527733号
[16] 负荷，R.L。；费尔斯，J.D。；Burden，A.M.，《数值分析》（2015），Cengage learning
[17] Kharazmi，E。；张，Z。；Karniadakis，G.E.，解偏微分方程的变分物理信息神经网络（2019），arXiv预印本
[18] Yu，J。；卢，L。；X孟。；Karniadakis，G.E.，用于正向和反向PDE问题的梯度增强物理信息神经网络，计算。方法应用。机械。Eng.，393，第114823条，第（2022）页·Zbl 1507.65217号
[19] 刘，D。；Wang，Y.，一种训练具有极大极小结构的物理约束神经网络的双二元方法，神经网络。，136, 112-125 (2021)
[20] 怀特，C.L。；Zhao，J.，使用自适应物理信息神经网络求解Allen-Cahn和Cahn-Hilliard方程（2020年），arXiv预印本·Zbl 07419706号
[21] 王，S。；Teng，Y。；Perdikaris，P.，《理解和缓解物理信息神经网络中的梯度流病理学》，SIAM J.Sci。计算。，43，A3055-A3081（2021）·Zbl 1530.68232号
[22] 向，Z。；彭，W。；刘，X。；Yao，W.，自适应损失平衡物理信息神经网络，神经计算，496，11-34（2022）
[23] 王，S。；Yu，X。；Perdikaris，P.，《PINN何时以及为何无法训练：神经切线内核视角》，J.Compute。物理。，449，第110768条pp.（2022）·Zbl 07524768号
[24] 麦克伦尼，L.D。；Braga-Neto，U.M.，自适应物理信息神经网络，J.Compute。物理。，474，第111722条pp.（2023）·Zbl 07640528号
[25] 李伟（Li，W.）。；张，C。；王，C。；关，H。；Tao，D.，《重新审视PINN:生成性对抗性物理信息神经网络和点加权方法》（2022年），arXiv预印本
[26] 张，G。；Yang，H。；朱，F。；陈，Y。；zheng，x.，Dasa-Pinns：物理信息神经网络的可微分对抗自适应逐点加权方案，见SSRN:
[27] Anagostopoulos，S.J。；托斯卡诺，J.D。；斯特吉奥普洛斯，N。；Karniadakis，G.E.，PINNs中基于残差的注意力和与信息瓶颈理论的联系（2023），arXiv预印本
[28] Chiu，P.-H。；Wong，J.C。；Ooi，C。；道，M.H。；Ong Can-pin，Y.S.，基于耦合自动数字微分法的快速物理信息神经网络，计算。方法应用。机械。工程，395，第114909条pp.（2022）·Zbl 1507.65204号
[29] 李，J。；陈，J。；Li，B.，梯度优化物理信息神经网络（GOPINNS）：求解复杂修正KdV方程的深度学习方法，非线性动力学。，107, 781-792 (2022)
[30] Ruder，S.，梯度下降优化算法概述（2016），arXiv预印本
[31] 比肖夫，R。；Kraus，M.，《基于物理知识的深度学习的多目标损失平衡》（2021），arXiv预印本
[32] 金，X。；蔡，S。；李，H。；Karniadakis，G.E.，NSFnets（Navier-Stokes流网）：不可压缩Navier-Stokes方程的物理信息神经网络，J.Compute。物理。，426，第109951条pp.（2021）·Zbl 07510065号
[33] 刘，Y。；蔡，L。；陈，Y。；Wang，B.，基于哈密尔顿-雅可比方程自适应加权损失函数的物理信息神经网络，数学。Biosci公司。工程师，19，12866-12896（2022）·兹比尔1512.68280
[34] Gie，G.-M。；Y.Hong。；Jung，C.-Y.，奇异摄动边值问题的半解析PINN方法（2022），arXiv预印本
[35] 格洛洛特，X。；Bengio，Y.，《理解深度前馈神经网络训练的困难》，（第十三届国际人工智能与统计会议论文集，JMLR研讨会和会议论文集（2010）），249-256
[36] Fan，E.，扩展tanh-function方法及其在非线性方程中的应用，Phys。莱特。A、 277212-218（2000）·兹比尔1167.35331
[37] Kingma，D.P。；Ba Adam，J.，《随机优化方法》（2014），arXiv预印本
[38] 刘博士。；Nocedal，J.，《关于大规模优化的有限内存BFGS方法》，数学。程序。，45, 503-528 (1989) ·Zbl 0696.90048号
[39] 胡，S。；刘，M。；张，S。；Dong，S。；Zheng，R.，Physics-informated neural network with characteristic based split for solution Navier-Stokes方程的基于物理信息的神经网络与基于特征的分裂相结合，工程应用。Artif公司。智力。，128，第107453条pp.（2024）
[40] 巴贾杰，C。；麦克伦南，L。；Andeen，T。；Roy，A.，《当物理失败时的食谱：恢复对物理的健壮学习，通知神经网络》，马赫。学习。：科学。技术。，4，第015013条pp.（2023）
[41] Xu，H。；陈，J。；Ma，F.，Allen-Cahn方程的自适应深度学习近似，（国际计算科学会议（2022），Springer），271-283
[42] 马蒂·R。；Ghosh，S.，为Allen-Cahn和Cahn-Hilliard方程训练物理信息神经网络的新顺序方法，计算。方法应用。机械。工程，390，第114474条pp.（2022）·Zbl 1507.92009年9月
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。