温玉晓;埃里克·范登·伊恩登;本杰明·佩赫斯托弗 神经Galerkin方案中自适应采样的耦合参数和粒子动力学。 （英语） Zbl 07864733号 物理D 462，文章ID 134129，13 p.（2024）. 摘要：训练非线性参数化（如深度神经网络）以获得偏微分方程的数值近似解，通常是基于最小化包含残差的损失，残差仅在有限的设置中可用。同时，经验估计训练损失具有挑战性，因为残差和相关量可能具有很高的方差，特别是对于具有局部特征（如波和相干结构）的以传输为主的高维问题。因此，基于来自非信息均匀分布的数据样本的估计是无效的。这项工作引入了神经伽辽金方案，该方案利用自适应分布的数据来估计训练损失，自适应分布通过粒子集合来经验表示。通过演化动力学耦合到解场非线性参数化的粒子来主动适应系综，以便系综能够为估计训练损失提供信息。数值实验表明，即使对于具有局部特征和高维空间域的问题，很少有动态粒子足以获得训练损失的准确经验估计。 MSC公司： 6500万 偏微分方程、初值和含时初边值问题的数值方法 65新元 偏微分方程边值问题的数值方法 68泰克 人工智能 关键词：数值分析;模型简化;科学机器学习;深度神经网络;主动学习 PDF格式BibTeX公司 XML格式引用 \textit{Y.Wen}等人，Physica D 462，文章ID 134129，13 p.（2024；Zbl 07864733） 全文： DOI程序 arXiv公司 参考文献： [1] W.E.公司。；Yu，T.，The deep Ritz method：一种基于深度学习的数值算法，用于求解变分问题，Commun。数学。统计，2017年6月1日至12日·Zbl 1392.35306号 [2] 西里尼亚诺，J。；Spiliopoulos，K.，DGM：解偏微分方程的深度学习算法，J.Compute。物理。，375, 1339-1364, 2018 ·Zbl 1416.65394号 [3] 莱斯，M。；佩迪卡里斯，P。；Karniadakis，G.，《基于物理的神经网络：解决非线性偏微分方程正问题和逆问题的深度学习框架》，J.Compute。物理。，378, 686-707, 2019 ·Zbl 1415.68175号 [4] 伯格，J。；Nyström，K.，复杂几何偏微分方程的统一深度人工神经网络方法，神经计算，31728-412018 [5] 李毅。；卢，J。；Mao，A.，物理模型解图的神经网络近似的变分训练，J.Compute。物理。，409，第109338条pp.，2020年·Zbl 1435.68292号 [6] Khoo，Y。；卢，J。；Ying，L.，用人工神经网络解决参数PDE问题，欧洲应用杂志。数学。，32, 3, 421-435, 2021 ·Zbl 1501.65154号 [7] Dissanayake，M.W.M.G。；Phan-Thien，N.，解偏微分方程的基于神经网络的近似，Commun。数字。方法。工程师，10，3，195-2011994·Zbl 0802.65102号 [8] Rico-Martinez，R。；Krischer，K。；Kevrekidis，I.G。；库贝，M.C。；Hudson，J.L.，铜电溶数据的离散与连续非线性信号处理，化学。工程通信。，118, 1, 25-48, 1992 [9] R.Rico-Martinez，J.S.Anderson，I.G.Kevrekidis，连续时间非线性信号处理：基于神经网络的灰盒识别方法，收录于：IEEE信号处理神经网络研讨会论文集，1994年，第596-605页。 [10] Rotskoff，G.M。；米切尔，A.R。；Vanden-Eijnden，E.，《由罕见事件支配的变分目标的主动重要性抽样：优化和泛化的后果》（Bruna，J.；Hesthaven，J.）。；Zdeborova，L.，第二届数学和科学机器学习会议论文集。第二届数学和科学机器学习会议论文集，机器学习研究论文集，第145卷，2022年，PMLR），757-780 [11] W.E，应用数学新时代的曙光，通知Amer。数学。Soc·Zbl 1471.00008号 [12] 布鲁纳，J。；Peherstorfer，B。；Vanden-Eijnden，E.，高维演化方程主动学习的神经Galerkin方案，J.Compute。物理。，496，第112588条，pp.，2024·Zbl 07807993号 [13] Ohlberger，M。；Rave，S.，通过冻结方法对参数化演化方程进行非线性降基近似，C.R.数学。阿卡德。科学。巴黎，351，23-24，901-9062013·Zbl 1281.65117号 [14] 格雷夫，C。；Urban，K.，波问题的Kolmogorov（N）宽度衰减，应用。数学。莱特。，96, 216-222, 2019 ·Zbl 1423.35242号 [15] 科恩，A。；DeVore，R.，全纯映射下的Kolmogorov宽度，IMA J.Numer。分析。，36, 1, 1-12, 2016 ·Zbl 1336.41010号 [16] Maday，Y。；Patera，A.T。；Turinici，G.，单参数对称强制椭圆偏微分方程降阶基逼近的全局先验收敛理论，C.R.Math。，335, 3, 289-294, 2002 ·Zbl 1009.65066号 [17] 科恩，A。；DeVore，R。；彼得罗娃，G。；Wojtaszczyk，P.，最优稳定非线性逼近，Found。计算。数学。，2021, 1-42, 2021 [18] Peherstorfer，B.，通过非线性模型简化打破Kolmogorov屏障，Notices Amer。数学。Soc.，69，725-733，2022年·Zbl 1493.65161号 [19] Vapnik，V.，《学习理论风险最小化原则》（Moody，J.；Hanson，S.；Lippmann，R.，《神经信息处理系统进展》，第4卷，1991年，Morgan-Kaufmann） [20] Lubich，C.，《从量子到经典分子动力学：简化模型和数值分析》，2008年，EMS出版社·Zbl 1160.81001号 [21] 安德森，W。；Farazmand，M.，具有守恒量的偏微分方程的非线性降阶解的演化，SIAM J.Sci。计算。，44、1、A176-A197、2022·Zbl 1484.65206号 [22] W.Anderson，M.Farazmand，形状非线性解的快速可扩展计算及其在进化神经网络中的应用，arXiv:2207.13828·Zbl 07797628号 [23] Rozza，G。；Huynh，D。；Patera，A.，仿射参数化椭圆强制偏微分方程的约化基近似和后验误差估计，Arch。计算。方法工程，2007年，15，3，1-47 [24] 本纳，P。；古吉丁，S。；Willcox，K.，参数动力系统基于投影的模型简化方法综述，SIAM Rev.，57，4，483-5312015·Zbl 1339.37089号 [25] Quarteroni，A。；Manzoni，A。；Negri，F.，偏微分方程的简化基方法，2016年，Springer·Zbl 1337.65113号 [26] 埃弗森，R。；Sirovich，L.，《间隙数据的Karhunen-Loeve程序》，J.Opt。Soc.Amer.，美国。，12, 1657-1664, 1995 [27] Barrault，M。；Maday，Y。；Nguyen，N。；Patera，A.，《经验插值法：应用于偏微分方程的有效降基离散化》，C.R.Math。阿卡德。科学。。巴黎一世，339-6672004·Zbl 1061.65118号 [28] Chaturantabut，S。；Sorensen，D.，通过离散经验插值进行非线性模型简化，SIAM J.Sci。计算。，32, 5, 2737-2764, 2010 ·Zbl 1217.65169号 [29] 德马克，Z。；Gugercin，S.，离散经验插值方法的一种新选择算子——改进了先验误差界和扩展，SIAM J.Sci。计算。，2016年A631-A648第38、2页·Zbl 1382.65193号 [30] Peherstorfer，B。；德马克，Z。；Gugercin，S.，《离散经验插值和带随机和确定性采样点的间隙正交分解的稳定性》，SIAM J.Sci。计算。，42，A2837-A28642020年·Zbl 1453.65287号 [31] Negri，F。；Manzoni，A。；Amsallem，D.，通过矩阵离散经验插值对参数化系统进行有效模型简化，J.Compute。物理。，303, 431-454, 2015 ·Zbl 1349.65154号 [32] Peherstorfer，B.，通过在线自适应基和自适应采样对以传输为主导的问题进行模型简化，SIAM J.Sci。计算。，2020年A2803-A2836第42、5页·Zbl 1453.65286号 [33] A.Cortinovis，D.Kressner，S.Massei，B.Peherstorfer，利用自适应经验插值学习在线自适应模型简化基础更新的准最优抽样，载于：2020年美国控制会议，ACC，2020年，第2472-2477页。 [34] 布莱克，费利克斯；菲利普·舒尔茨（Philipp Schulze）；本杰明·昂格（Benjamin Unger），基于投影的动态转换模式模型简化，ESAIM:M2AN，54，6，2011-2043，2020·Zbl 1470.35276号 [35] 科恩，A。；Farhat，C。；体细胞，A。；Maday，Y.，PDE的非线性压缩约化基近似，2023，HAL预印本04031976 [36] Mojgani，R。；Balajewicz，M。；Hassanzadeh，P.，Kolmogorov n-width and Lagrangian physics-informed neural networks:对流主导偏微分方程的因果一致流形，计算。方法应用。机械。工程，404，第115810条，2023页·Zbl 07644864号 [37] Kim，Y。；Choi，Y。；Widemann，D。；Zohdi，T.，一种快速准确的基于物理信息的神经网络降阶模型，带有浅屏蔽自动编码器，J.Compute。物理。，451，第110841条，第2022页·Zbl 07517153号 [38] Romor，F。；稳定，G。；Rozza，G.，带卷积自编码器和简化过配置方法的非线性流形降阶模型，科学杂志。计算。，94, 3, 74, 2023 ·Zbl 07698834号 [39] 卢，L。；X孟。；毛，Z。；Karniadakis，G.E.，DeepXDE:解微分方程的深度学习库，SIAM Rev.，63，1，208-228，2021·兹比尔1459.65002 [40] 高，W。；Wang，C.，高维非线性偏微分方程的基于主动学习的采样，J.Compute。物理。，475，第111848条，第2023页·兹伯利07649269 [41] 怀特，C.L。；Zhao，J.，使用自适应物理信息神经网络求解Allen-Cahn和Cahn-Hilliard方程，Commun。计算。物理。，29, 3, 930-954, 2021 ·Zbl 07419706号 [42] 吴，C。；朱，M。；Tan，Q。；Kartha，Y。；Lu，L.，《物理信息神经网络的非自适应和基于残差的自适应采样的综合研究》，计算。方法应用。机械。工程，403，第115671条，2023页·Zbl 07644158号 [43] Tang，K。；万，X。；Yang，C.，DAS-PINNs:解高维偏微分方程的深度自适应采样方法，J.Compute。物理。，第476条，第111868页，2023年·Zbl 07652779号 [44] J.Guo，H.Wang，C.Hou，《物理信息神经网络的新型自适应因果抽样方法》，arXiv:2210.12914。 [45] W.E.公司。；Han，J。；Jentzen，A.，基于深度学习的高维抛物型偏微分方程和倒向随机微分方程数值方法，Commun。数学。统计，2017年5月4日，349-380日·Zbl 1382.65016号 [46] Han，J。；Jentzen，A。；W.E.，使用深度学习求解高维偏微分方程，Proc。国家。阿卡德。科学。，115, 34, 8505-8510, 2018 ·Zbl 1416.35137号 [47] Khoo，Y。；卢，J。；Ying，L.，使用人工神经网络求解高维承诺函数，研究数学。科学。，6, 1, 1, 2018 ·Zbl 1498.60222号 [48] 李强。；Lin，B。；Ren，W.，《利用深度学习研究罕见事件的计算委员会职能》，J.Chem。物理。，第151、5条，第054112页，2019年 [49] W.E.公司。；Han，J。；Jentzen，A.，基于深度学习的高维抛物型偏微分方程和倒向随机微分方程数值方法，Commun。数学。统计，2017年5月4日，349-380日·Zbl 1382.65016号 [50] 李强。；Chen，L。；Tai，C.等人。；W.E.，深度学习的最大原理算法，J.Mach。学习。2018年第18、165、1-29号决议·Zbl 1467.68156号 [51] 李强。；Lin，T。；Shen，Z.，《通过动力系统进行深度学习：近似观点》，《欧洲数学杂志》。Soc.，251671-17092023年·Zbl 1528.41106号 [52] 陈，Y。；侯赛尼，B。；奥哈迪，H。；Stuart，A.M.，用高斯过程求解和学习非线性偏微分方程，J.Compute。物理。，第447条，第110668页，2021年·Zbl 07516428号 [53] P.Batlle，Y.Chen，B.Hosseini，H.Owhadi，A.M.Stuart，非线性和参数偏微分方程核/GP方法的误差分析，arXiv:2305.04962。 [54] Dirac，P.A.M.，关于托马斯原子交换现象的注释，数学。程序。外倾角。Phil.Soc.，26，3，376-385，1930年 [55] Frenkel，J.，《波动力学，高级一般理论》，1934年，克拉伦登出版社：牛津克拉伦登出版公司·Zbl 0013.08702号 [56] 拉塞尔，C。；Lubich，C.，《计算半经典体系中的量子动力学》，《数值学报》。，29, 229-401, 2020 ·Zbl 07674564号 [57] 科赫，O。；Lubich，C.，《动力学低阶近似》，SIAM J.矩阵分析。申请。，29, 2, 434-454, 2007 ·Zbl 1145.65031号 [58] Sapsis，T.P。；Lermusiaux，P.F.，连续随机动力系统的动力正交场方程，Physica D，238，23，2347-23602009·Zbl 1180.37119号 [59] 赫塞文，J.S。；Pagliantini，C。；Rozza，G.，时间相关问题的约化基方法，《数值学报》。，31, 265-345, 2022 ·Zbl 07674582号 [60] 齐默尔曼，R。；Peherstorfer，B。；Willcox，K.，《几何子空间更新及其在线自适应非线性模型简化应用》，SIAM J.Matrix Anal。申请。，39, 1, 234-261, 2018 ·Zbl 1383.65034号 [61] Y.Du，T.A.Zaki，进化深层神经网络，物理。修订版E 104（4）。 [62] M.A.Finzi、A.Potapczynski、M.Choptuik、A.G.Wilson，用神经网络求解初值偏微分方程的稳定和可扩展方法，载于：第十一届学习表征国际会议，2023年。 [63] P.Y.Chen，J.Xiang，D.H.Cho，Y.Chang，G.A.Pershing，H.T.Maia，M.M.Chiaramonte，K.T.Carlberg，E.Grinspin，CROM:使用隐式神经表征的偏微分方程的连续降阶建模，在：第十一届学习表征国际会议，2023年。 [64] 伯杰，M。；Colella，P.，《冲击流体动力学的局部自适应网格细化》，J.Compute。物理。，82, 1, 64-84, 1989 ·Zbl 0665.76070号 [65] 伯杰，M.J。；LeVeque，R.J.，使用双曲线系统的波传播算法进行自适应网格细化，SIAM J.Numer。分析。，35, 2298-2316, 1998 ·Zbl 0921.65070号 [66] 佛朗哥，N.R。；Manzoni，A。；Zunino，P.，参数相关偏微分方程降阶建模的深度学习方法，数学。公司。，92, 483-524, 2023 ·Zbl 1504.65255号 [67] 诺尼诺，M。；巴拉林，F。；Rozza，G。；Maday，Y.，一种基于输运图的简化基方法，用于具有缓慢衰减Kolmogorov宽度的流体-结构相互作用问题，高级计算。科学。工程师，1，1，36-582023 [68] C.Szegedy、W.Zaremba、I.Sutskever、J.Bruna、D.Erhan、I.Goodfellow、R.Fergus，《神经网络的有趣特性》，arXiv:1312.6199。 [69] I.Goodfellow，J.Shlens，C.Szegedy，《解释和利用对抗性示例》，收录于：2015年国际学习代表大会。 [70] 古德费罗，I。；Pouget-Abadie，J。；米尔扎，M。；徐，B。；Warde-Farley，D。；Ozair，S。；科尔维尔，A。；Bengio，Y.，《生成性对抗网络》（Ghahramani，Z.；Welling，M.；Cortes，C.；Lawrence，N.；Weinberger，K.，《神经信息处理系统进展》，2014年第27期，Curran Associates，Inc.） [71] Bai，T。；罗，J。；赵，J。；温，B。；Wang，Q.，对抗健壮性对抗训练的最新进展，（周振华，《第三十届国际人工智能联合会议论文集》，第三十届人工智能国际联合会议论文录，IJCAI-212021，国际人工智能组织联合会议），4312-4321 [72] 刘，Q。；Wang，D.，Stein变分梯度下降：通用贝叶斯推理算法，（Lee，D.；Sugiyama，M.；Luxburg，U.；Guyon，I.；Garnett，R.，《神经信息处理系统的进展》，2016年第29卷，Curran Associates，Inc.），2378-2386 [73] 卢，J。；卢，Y。；Nolen，J.，Stein变分梯度下降的标度极限：平均场状态，SIAM J.Math。分析。，51, 2, 648-671, 2019 ·Zbl 1417.35189号 [74] J.戈勒姆。；Mackey，L.，用内核测量样本质量，（Precup，D.；Teh，Y.W.，《第34届机器学习国际会议论文集》，第34届国际机器学习会议论文集，《机器学习研究论文集》第70卷，2017年，PMLR），1292-1301 [75] 体重。；Engquist，B.，异生多尺度方法，Commun。数学。科学。，1, 1, 87-132, 2003 ·Zbl 1093.35012号 [76] W.E.公司。；Ren，W。；Vanden-Eijnden，E.，《设计无缝多尺度方法的一般策略》，J.Compute。物理。，228, 15, 5437-5453, 2009 ·兹比尔1280.76038 [77] 阿卜杜勒。；E.渭南。；Engquist，B。；Vanden-Eijnden，E.，异质多尺度方法，Acta Numer。，21, 1-87, 2012 ·Zbl 1255.65224号 [78] J·多曼德。；Prince，P.，嵌入Runge-Kutta公式家族，J.Comput。申请。数学。，6, 1, 19-26, 1980 ·Zbl 0448.65045号 [79] 塔哈，T.R。；Ablowitz，M.J.，某些非线性发展方程的分析和数值方面。III、 数值，Korteweg-de-Vries方程，J.计算。物理。，55, 231-253, 1984 ·Zbl 0541.65083号 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。