×
琼·布鲁纳；本杰明·佩赫斯托弗；埃里克·范登·伊恩登

高维演化方程的主动学习神经Galerkin格式。 （英语） Zbl 07807993号

J.计算。物理学。 496，文章ID 112588，22 p.（2024）.
摘要：深度神经网络已被证明能够在高维中提供精确的函数近似。然而，拟合网络参数需要信息丰富的训练数据，而这些数据在科学和工程应用中往往难以收集。本文提出了基于深度学习的神经伽辽金方法，该方法通过主动学习生成训练数据，用于数值求解高维偏微分方程。神经伽辽金方案建立在Dirac-Frenkel变分原理的基础上，通过在一段时间内顺序最小化残差来训练网络，这使得能够在偏微分方程描述的动力学的指导下，以自通知的方式自适应地收集新的训练数据。这与其他机器学习方法不同，这些方法旨在及时全局拟合网络参数，而不考虑训练数据采集。我们的发现是，所提出的Neural Galerkin方案收集训练数据的主动形式是数值实现高维网络表达能力的关键。数值实验表明，神经Galerkin方案有潜力用许多变量模拟现象和过程，而传统的和其他基于深度学习的解算器无法解决这些问题，特别是当解的特征在局部演化时，例如在福克-普朗克和动力学方程所描述的高维波传播问题和相互作用粒子系统中。

MSC公司：

6500万 偏微分方程、初值和含时初边值问题的数值方法
65新元 偏微分方程边值问题的数值方法
68泰克 人工智能

关键词：

科学计算；机器学习；深度神经网络；偏微分方程；主动学习；蒙特卡洛

软件：

DGM公司；亚当
PDF格式BibTeX公司 XML格式引用
\textit{J.Bruna}等人，J.Compute。物理学。496，文章ID 112588，22 p.（2024；Zbl 07807993）
全文： 内政部 arXiv公司

参考文献：

[1] Dissanayake，M.W.M.G。；Phan-Thien，N.，解偏微分方程的基于神经网络的近似。Commun公司。数字。方法工程，3195-201（1994）·Zbl 0802.65102号
[2] 西里尼亚诺，J。；Spiliopoulos，K.，DGM：求解偏微分方程的深度学习算法。J.计算。物理。，1339-1364（2018）·Zbl 1416.65394号
[3] 莱斯，M。；佩迪卡里斯，P。；Karniadakis，G.，《基于物理的神经网络：用于解决涉及非线性偏微分方程的正向和反向问题的深度学习框架》。J.计算。物理。，686-707 (2019) ·Zbl 1415.68175号
[4] 伯格，J。；Nyström，K.，复杂几何中偏微分方程的统一深度人工神经网络方法。神经计算，28-41（2018）
[5] Dirac，P.A.M.，关于托马斯原子中交换现象的注释。数学。程序。外倾角。菲洛斯。《社会学杂志》，3376-385（1930）
[6] Frenkel，J.，《波动力学，高级一般理论》（1934），克拉伦登出版社：牛津克拉伦登出版公司·Zbl 0013.08702号
[7] Lubich，C.，《从量子到经典分子动力学：简化模型和数值分析》（2008），EMS出版社·Zbl 1160.81001号
[8] 科赫，O。；Lubich，C.，动力学低阶近似。SIAM J.矩阵分析。申请。，2, 434-454 (2007) ·Zbl 1145.65031号
[9] Sapsis，T.P。；Lermusiaux，P.F.，连续随机动力系统的动力正交场方程。物理学。D： 非线性现象。，23, 2347-2360 (2009) ·兹比尔1180.37119
[10] 赫瑟文，J.S。；Pagliantini，C。；Rozza，G.，时间相关问题的简化基方法。Acta Numer.公司。，265-345 (2022) ·Zbl 07674582号
[11] 杜，Y。；Zaki，T.A.，《进化深层神经网络》，《物理学》。E版（2021年）
[12] 安德森，W。；Farazmand，M.，具有守恒量的偏微分方程非线性降阶解的演化。SIAM J.科学。计算。，1，A176-A197（2022）·Zbl 1484.65206号
[13] Rotskoff，G.M。；米切尔，A.R。；Vanden-Eijnden，E.，《由罕见事件支配的变分目标的主动重要性抽样：优化和泛化的后果》（2021）
[14] de Avila Belbote-Peres，F。；陈，Y。；Sha，F.，HyperPINN：利用物理信息超网络学习参数化微分方程，1-5
[15] E、 W。；Han，J。；Jentzen，A.，基于深度学习的高维抛物型偏微分方程和倒向随机微分方程数值方法。Commun公司。数学。Stat.，4349-380（2017）·Zbl 1382.65016号
[16] Han，J。；Jentzen，A。；E、 W.，使用深度学习求解高维偏微分方程。程序。国家。阿卡德。科学。，34, 8505-8510 (2018) ·Zbl 1416.35137号
[17] Khoo，Y。；卢，J。；Ying，L.，使用人工神经网络求解高维提交函数。Res.数学。科学。，1, 1 (2018)
[18] 李强。；Lin，B。；Ren，W.，使用深度学习研究罕见事件的计算委员会功能。化学杂志。物理。，5 (2019)
[19] Bar-Sinai，Y。；霍耶，S。；希基，J。；Brenner，M.P.，学习偏微分方程的数据驱动离散化。程序。国家。阿卡德。科学。，31, 15344-15349 (2019) ·兹比尔1431.65195
[20] Kochkov博士。；Smith，J.A。；Alieva，A。；王，Q。；M.P.布伦纳。；Hoyer，S.，《机器学习-加速计算流体动力学》。程序。国家。阿卡德。科学。，21 (2021)
[21] 王，Q。；Ripamonti，N。；Hesthaven，J.S.，基于Mori-Zwanzig形式的参数POD-Galerkin降阶模型的递归神经网络闭包。J.计算。物理学。(2020) ·Zbl 1436.65093号
[22] Rudy，S.H。；内森·库茨，J。；Brunton，S.L.，《动力学深度学习和带时间步进约束的信号-噪声分解》。J.计算。物理。，483-506 (2019) ·Zbl 1452.68170号
[23] Rozza，G。；Huynh，D。；Patera，A.，仿射参数化椭圆强制偏微分方程的约化基近似和后验误差估计。架构（architecture）。计算。方法工程，3，1-47（2007）
[24] 本纳，P。；古吉丁，S。；Willcox，K.，参数动力系统基于投影的模型简化方法综述。SIAM版本，4483-531（2015）·Zbl 1339.37089号
[25] 王，Q。；赫瑟文，J.S。；Ray，D.，使用人工神经网络对非定常流动进行非侵入式降阶建模，并应用于燃烧问题。J.计算。物理。，289-307 (2019) ·Zbl 1459.76117号
[26] 科瓦奇奇，N.B。；李，Z。；刘，B。；Azizzadenesheli，K。；巴塔查亚，K。；Stuart，A.M。；Anandkumar，A.，《神经运算符：函数空间之间的学习映射》（2021）
[27] 巴塔查亚，K。；侯赛尼，B。；科瓦奇奇，N.B。；Stuart，A.M.，参数偏微分方程的模型简化和神经网络。SMAI J.计算。数学。，121-157 (2021) ·Zbl 1481.65260号
[28] Khoo，Y。；卢，J。；Ying，L.，用人工神经网络解决参数PDE问题。欧洲应用杂志。数学。，421-435 (2020) ·Zbl 1501.65154号
[29] Lee，K。；Carlberg，K.T.，使用深度卷积自编码器对非线性流形上动力系统的模型简化。J.计算。物理学。(2020) ·Zbl 1454.65184号
[30] Taddei，T。；佩罗托，S。；Quarteroni，A.，《非线性守恒定律的简化基础技术》。ESAIM：数学。模型。数字。分析。，3, 787-814 (2015) ·Zbl 1316.65079号
[31] O'Leary-Roseberry，T。；美国维拉。；陈，P。；Ghattas，O.，PDE控制的高维参数映射的导数信息投影神经网络。计算。方法应用。机械。工程（2022）
[32] 埃拉切尔，V。；伦巴第，D。；O.穆拉。；Vialard，F.-X.，度量空间上的非线性模型约简。Wasserstein空间中一维保守偏微分方程的应用。ESAIM：数学。模型。数字。分析。，6, 2159-2197 (2020) ·Zbl 1476.65267号
[33] Reiss，J。；舒尔茨，P。；塞斯特亨，J。；Mehrmann，V.，《移位本征正交分解：多重输运现象的模式分解》。SIAM J.科学。计算。，3，A1322-A1344（2018）·Zbl 1446.65212号
[34] Romor，F。；稳定，G。；Rozza，G.，带卷积自动编码器和减少过配置方法的非线性流形ROM（2022）
[35] 钱，E。；Kramer，B。；佩赫斯托弗，B。；Willcox，K.，Lift&Learn:大型非线性动力系统的基于物理的机器学习。物理学。D： 非线性现象。(2020)
[36] 潘，S。；Brunton，S.L。；Kutz，J.N.，《神经隐式流：时空数据的网格不可知维度缩减范式》。J.马赫。学习。决议，41，1-60（2023年）
[37] Kim，Y。；Choi，Y。；Widemann，D。；Zohdi，T.，一种快速准确的基于物理信息的神经网络降阶模型，带有浅屏蔽自动编码器。J.计算。物理学。(2022) ·Zbl 07517153号
[38] Billaud-Friess，M。；Nouy，A.，求解参数相关动态系统的动态模型简化方法。SIAM J.科学。计算。，4、A1766-A1792（2017）·Zbl 1373.65091号
[39] 齐默尔曼，R。；佩赫斯托弗，B。；Willcox，K.，几何子空间更新及其在线自适应非线性模型简化应用。SIAM J.矩阵分析。申请。，1, 234-261 (2018) ·Zbl 1383.65034号
[40] 赫瑟文，J.S。；Pagliantini，C。；Ripamonti，N.，Hamilton系统的秩自适应结构保护模型降阶。ESAIM:M2AN，2617-650（2022）·Zbl 1492.37073号
[41] 佩赫斯托弗，B。；Willcox，K.，通过低阶更新对非线性系统进行在线自适应模型降阶。SIAM J.科学。计算。，4，A2123-A2150（2015）·Zbl 1323.65102号
[42] Peherstorfer，B.，通过在线自适应基和自适应采样对以运输为主导的问题进行模型简化。SIAM J.科学。计算。，5、A2803-A2836（2020）·Zbl 1453.65286号
[43] Musharbash，E。；诺比尔，F。；Zhou，T.，时间相关随机偏微分方程动态正交近似的误差分析。SIAM J.科学。计算。，2，A776-A810（2015）·Zbl 1320.65149号
[44] Ern，A。；Guermond，J.-L.，有限元理论与实践（2004），Springer·Zbl 1059.65103号
[45] Peherstorfer，B.，通过非线性模型简化打破Kolmogorov屏障。不是。美国数学。Soc.，725-733（2022年）·Zbl 1493.65161号
[46] 布莱克，费利克斯；菲利普·舒尔茨；本杰明·昂格（Benjamin Unger），基于投影的模型简化与动态转换模式。ESAIM:M2AN，2011-2043年6月（2020年）·兹比尔1470.35276
[47] J·多曼德。；Prince，P.，嵌入式Runge-Kutta公式家族。J.计算。申请。数学。，1, 19-26 (1980) ·Zbl 0448.65045号
[48] Kingma，D.P。；Ba，J.，Adam：一种随机优化方法
[49] Gunzburger，M.D.，《流量控制和优化的观点》（2002），工业和应用数学学会
[50] Rahimi，A。；Recht，B.，大型内核机器的随机特性
[51] 塔哈，T.R。；Ablowitz，M.I.，某些非线性发展方程的分析和数值方面。三、 数值，Korteweg-de-Vries方程。J.计算。物理。，2, 231-253 (1984) ·Zbl 0541.65083号
[52] Wojtowytsch，S。；E、 W.，利用Barron数据对高维偏微分方程的一些观察
[53] Rotskoff，G。；杰拉西，S。；布鲁纳，J。；Vanden-Eijnden，E.，《神经元生灭动力学的全球收敛》（2019年）
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。