×

JAX-DIPS:有限离散化方法的神经自举及其在不连续椭圆问题中的应用。 (英语) Zbl 07748066号

摘要:我们在现有的基于网格的数值离散化方法的基础上,提出了一种可扩展的无网格混合神经符号偏微分方程求解器的开发策略。特别是,通过(i)利用高级数值方法、求解器和预条件器的精度和收敛特性,以及(ii)通过严格限制优化为一阶自动微分,可以更好地扩展到更高阶PDE。提出的神经自举方法(以下简称NBM)基于对PDE系统有限离散化残差的评估,该残差是在以一组随机配置点为中心的隐式笛卡尔单元上获得的,与神经网络的可训练参数有关。重要的是,自举有限离散化方程中的守恒定律和对称性告诉神经网络训练点局部邻域内的解的规律。我们将NBM应用于一类重要的椭圆问题,该问题具有跨越三维不规则界面的跳跃条件。我们表明,该方法是收敛的,通过增加域中的配置点数量和对残差进行预处理,可以提高模型精度。我们表明,NBM在记忆力和训练速度方面与其他PINN类型的框架相比具有竞争力。这里介绍的算法是使用日本宇宙航空公司在名为日本JAX-DIPS(https://github.com/JAX-DIPS/JAX-DIPS),代表可微界面PDE求解器。我们开源日本JAX-DIPS促进研究可微算法在开发混合PDE解算器中的应用。

MSC公司:

65新元 偏微分方程边值问题的数值方法
6500万 偏微分方程、初值和含时初边值问题的数值方法
35Jxx型 椭圆方程和椭圆系统
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] 亚当斯,L。;Li,Z.,界面问题的浸入式界面/多重网格方法,SIAM J.Sci。计算。,2463-479(2002年)·Zbl 1014.65099号
[2] Babuška,I.,不连续系数椭圆方程的有限元方法,计算,5,3,207-213(1970)·Zbl 0199.50603号
[3] Belytschko,T。;莫尔斯,N。;Usui,S。;Parimi,C.,《有限元中的任意不连续性》,国际数学家杂志。方法工程,50,4,993-1013(2001)·Zbl 0981.74062号
[4] 伯格,J。;Nyström,K.,偏微分方程的神经网络增广逆问题(2017),arXiv预印本
[5] Bezgin,D.A。;Buhendwa,A.B。;Adams,N.A.,《Jax-fluids:可压缩两相流的全微分高阶计算流体动力学求解器》(2022),arXiv预印本·兹比尔07692485
[6] 巴塔查亚,K。;侯赛尼,B。;科瓦奇奇,N.B。;Stuart,A.M.,参数pde的模型简化和神经网络(2020),arXiv预印本
[7] 布隆德尔,M。;Berthet,Q。;库图里,M。;弗罗斯蒂格,R。;霍耶,S。;Llinares-López,F。;佩德雷戈萨,F。;Vert,J.-P.,高效和模块化隐式微分(2021),arXiv预印本
[8] 博奇科夫,D。;Gibou,F.,在笛卡尔网格上求解带跳跃条件的椭圆界面问题,J.Compute。物理。,407,第109269条pp.(2020)·Zbl 07504724号
[9] 博奇科夫,D。;Gibou,F.,在笛卡尔网格上求解带跳跃条件的椭圆界面问题,J.Compute。物理。,407,第109269条pp.(2020)·Zbl 07504724号
[10] 博奇科夫,D。;Gibou,F.,解决嵌段共聚物定向自组装逆问题的非参数形状优化方法(2021),arXiv预印本
[11] 博奇科夫,D。;波洛克,T。;Gibou,F.,多元合金凝固的尖锐界面模拟(2021),arXiv预印本
[12] 布拉德伯里,J。;弗罗斯蒂格,R。;霍金斯,P。;约翰逊,M.J。;Leary,C。;麦克劳林(D.Maclaurin)。;内库拉,G。;Paszke,A。;范德普拉斯,J。;Wanderman-Millne,S。;Zhang,Q.,JAX:Python+NumPy程序的可组合转换(2018)
[13] Bramble,J.H。;King,J.T.,《光滑边界和界面域中界面问题的有限元方法》,高级计算。数学。,6, 1, 109-138 (1996) ·Zbl 0868.65081号
[14] 陈,T。;Chen,H.,具有任意激活函数的神经网络对非线性算子的通用逼近及其在动力系统中的应用,IEEE Trans。神经网络。,911-917年6月4日(1995年)
[15] Chua,L.O。;Yang,L.,《细胞神经网络:应用》,IEEE Trans。电路系统。,35, 10, 1273-1290 (1988)
[16] 蔡美儿,L.O。;Yang,L.,《细胞神经网络:理论》,IEEE Trans。电路系统。,35, 10, 1257-1272 (1988) ·Zbl 0663.94022号
[17] 克罗克特,R。;科尔拉,P。;Graves,D.T.,解三维不连续系数泊松和热方程的笛卡尔网格嵌入边界法,J.Compute。物理。,230, 7, 2451-2469 (2011) ·Zbl 1220.65121号
[18] Curless,B。;Levoy,M.,从距离图像构建复杂模型的体积方法,(第23届计算机图形与交互技术年会论文集(1996)),303-312
[19] Dal Santo,N。;德帕里斯,S。;Pegolotti,L.,用约化基和神经网络对参数化偏微分方程进行数据驱动近似,J.Compute。物理。,416,第109550条pp.(2020)·Zbl 1437.65224号
[20] de Avila Belbote-Peres,F。;史密斯,K。;艾伦,K。;Tenenbaum,J。;Kolter,J.Z.,《用于学习和控制的端到端可微物理》,《高级神经信息处理》。系统。,31 (2018)
[21] 尤因·R·E。;李,Z。;Lin,T。;Lin,Y.,椭圆界面问题的浸入式有限体积元方法,数学。计算。模拟。,50, 1-4, 63-76 (1999) ·Zbl 1027.65155号
[22] Falgout,R.D.,《代数多重网格简介》(2006),技术报告,劳伦斯·利弗莫尔国家实验室(LLNL),加利福尼亚州利弗莫尔市(美国)
[23] Fedkiw,R.P。;Aslam,T。;Merriman,B。;Osher,S.,《多材料流动界面的非振荡欧拉方法》(鬼流体方法),J.Compute。物理。,152,2457-492(1999年)·Zbl 0957.76052号
[24] Galatsis,K。;Wang,K.L。;Ozkan,M。;Ozkan,C.S。;黄,Y。;Chang,J.P。;Monbouquette,H.G。;陈,Y。;尼利,P。;Botros,Y.,《纳米电子学的图形化和模板化》,高级马特。,22, 6, 769-778 (2010)
[25] 戈博维奇,D。;Zaghloul,M.,解决稳态热流问题的局部连接CMOS神经细胞设计,(第36届中西部电路与系统研讨会论文集(1993),IEEE),755-757
[26] 龚,Y。;李,B。;Li,Z.,非齐次跳跃条件下椭圆界面问题的浸入式界面有限元方法,SIAM J.Numer。分析。,46, 1, 472-495 (2008) ·Zbl 1160.65061号
[27] 吉他,A。;Lepiliez,M。;Tanguy,S。;Gibou,F.,《求解不规则区域上具有不连续性的椭圆问题——Voronoi接口方法》,J.Compute。物理。,298, 747-765 (2015) ·Zbl 1349.65579号
[28] Hecht-Nielsen,R.,Kolmogorov映射神经网络存在定理,(神经网络国际会议论文集,第3卷(1987),IEEE出版社:美国纽约州IEEE出版社),11-14
[29] 海塞尔,M。;Budden,D。;维奥拉·F。;Rosca,M。;塞泽纳,E。;Hennigan,T.,Optax:复合梯度变换和优化(Jax!(2020))
[30] Holl,P。;科尔顿,V。;Thuerey,N.,《学习用可微物理控制等离子体》(2020年),arXiv预印本
[31] Holl,P。;科尔顿,V。;嗯,K。;Thureey,N.,phiflow:通过物理模拟进行深度学习的可差分PDE解决框架,(NeurIPS研讨会,第2卷(2020))
[32] 胡,W.-F。;林,T.-S。;Lai,M.-C.,椭圆界面问题的不连续捕获浅层神经网络,J.Compute。物理。,469,第111576条pp.(2022)·Zbl 07592152号
[33] Huber,P.J.,位置参数的稳健估计,(统计学的突破:方法和分布(1992),Springer),492-518
[34] Ismailov,V.,《三层神经网络可以表示任何多元函数》(2020)
[35] 约翰逊,D。;麦克斯菲尔德,T。;Jin,Y。;Fedkiw,R.,基于软件的自动区分有缺陷(2023年),arXiv预打印
[36] Kingma,D.P。;Adam,J.Ba.,《随机优化方法》(2014),arXiv预印本
[37] Kochkov博士。;Smith,J.A。;Alieva,A。;王,Q。;M.P.布伦纳。;Hoyer,S.,《机器学习加速计算流体动力学》,Proc。国家。阿卡德。科学。美国,118,21(2021)
[38] Kolmogorov,A.N.,《通过一个变量的连续函数和加法的叠加来表示多个变量的持续函数》(Doklady Akademii Nauk,第114卷(1957年),俄罗斯科学院),953-956·兹比尔0090.27103
[39] Krishnapriyan,A。;戈洛米,A。;哲,S。;Kirby,R。;Mahoney,M.W.,《表征物理信息神经网络中可能的故障模式》,高级神经信息过程。系统。,34, 26548-26560 (2021)
[40] 拉加里斯,I.E。;利卡斯,A。;Fotiadis,D.I.,求解常微分方程和偏微分方程的人工神经网络,IEEE Trans。神经网络。,9, 5, 987-1000 (1998)
[41] Lee,H。;Kang,I.S.,解微分方程的神经算法,J.Compute。物理。,91, 1, 110-131 (1990) ·Zbl 0717.65062号
[42] LeVeque,R.J。;Li,Z.,具有间断系数和奇异源的椭圆方程的浸入界面法,SIAM J.Numer。分析。,31, 4, 1019-1044 (1994) ·Zbl 0811.65083号
[43] Lew,A.J。;Buscaglia,G.C.,基于非连续-Galerkin的浸没边界法,国际期刊数值。方法工程,76,4,427-454(2008)·Zbl 1195.76258号
[44] 李,Z。;科瓦奇奇,N。;Azizzadenesheli,K。;刘,B。;巴塔查亚,K。;Stuart,A。;Anandkumar,A.,参数偏微分方程的傅里叶神经算子(2020),arXiv预印本
[45] 李,Z。;科瓦奇奇,N。;Azizzadenesheli,K。;刘,B。;巴塔查亚,K。;Stuart,A。;Anandkumar,A.,《神经算子:偏微分方程的图核网络》(2020),arXiv预印本
[46] 李,Z。;Lin,T。;Wu,X.,使用有限元公式求解界面问题的新笛卡尔网格方法,Numer。数学。,96, 1, 61-98 (2003) ·兹比尔1055.65130
[47] 刘晓东。;Fedkiw,R.P。;Kang,M.,不规则区域上泊松方程的边界条件捕捉方法,J.Compute。物理。,160, 1, 151-178 (2000) ·兹比尔0958.65105
[48] 卢,L。;Jin,P。;Deeponet,G.E.Karniadakis,基于算子的普遍逼近定理学习用于识别微分方程的非线性算子(2019),arXiv预印本
[49] Lu,P.Y。;Kim,S。;Soljać,M.,《使用无监督学习从时空系统中提取可解释的物理参数》,Phys。修订版X,10,3,第031056条第(2020)页
[50] 最小值C。;Gibou,F.,不规则域上的几何积分及其在水平集方法中的应用,J.Compute。物理。,226, 2, 1432-1443 (2007) ·Zbl 1125.65021号
[51] 最小值C。;Gibou,F.,非梯度自适应笛卡尔网格上的二阶精确水平集方法,J.Compute。物理。,225, 1, 300-321 (2007) ·兹比尔1122.65077
[52] 米尔扎德,M。;米歇尔·泰拉德。;Gibou,F.,《使用非梯度自适应笛卡尔网格对不规则几何体上非线性泊松-玻耳兹曼方程的二阶离散化》,J.Compute。物理。,230、5、2125-2140(2011年3月)·Zbl 1390.82056号
[53] Mistani,P。;吉他,A。;博奇科夫博士。;施耐德,J。;Margetis,D。;Ratsch,C。;Gibou,F.,平行四叉树网格上的岛屿动力学模型,J.Compute。物理。,361, 150-166 (2018) ·Zbl 1422.65212号
[54] 米斯塔尼,P。;吉他,A。;Poignard,C。;Gibou,F.,《基于Voronoi的细胞聚集电渗透中尺度模拟的并行方法》,J.Compute。物理。,380, 48-64 (2019) ·Zbl 1451.76078号
[55] 莫尔斯,N。;Dolbow,J。;Belytschko,T.,《无需重新网格的裂纹扩展有限元方法》,国际J数值。方法工程,46,1,131-150(1999)·Zbl 0955.74066号
[56] T.Müller,tiny-cuda-nn,2021年4月。
[57] Osher,S。;Sethian,J.A.,《以曲率相关速度传播的前沿:基于哈密尔顿-雅可比公式的算法》,J.Compute。物理。,79, 1, 12-49 (1988) ·Zbl 0659.65132号
[58] 瓦克宁,G.Y。;拉奇,N。;德莱尼,K。;Fredrickson,G.H。;Gibou,F.,反向dsa-光刻的水平设置策略,J.Compute。物理。,375, 1159-1178 (2018)
[59] 南卡罗来纳州帕克拉万。;Mistani,P.A。;Aragon-Calvo,医学硕士。;Gibou,F.,《用物理感知神经网络解决逆向问题》,J.Compute。物理。,440,第110414条pp.(2021)·Zbl 07512372号
[60] 帕斯卡努,R。;Mikolov,T。;Bengio,Y.,《训练递归神经网络的困难》(2012)
[61] 莱斯,M。;佩迪卡里斯,P。;Karniadakis,G.,《基于物理的神经网络:用于解决涉及非线性偏微分方程的正向和反向问题的深度学习框架》,J.Compute。物理。,378, 686-707 (2019) ·兹比尔1415.68175
[62] Saleh,R.A。;Saleh,A.,机器学习中使用的log-cosh损失函数的统计特性(2022),arXiv预印本
[63] Sallee,J.F.,《n立方体的中间切割三角剖分》,SIAM J.代数离散方法,5,3,407-419(1984)·Zbl 0543.52004号
[64] Shallue,C.J。;Lee,J。;安托尼尼,J。;Sohl-Dickstein,J。;弗罗斯蒂格,R。;Dahl,G.E.,测量数据并行性对神经网络训练的影响(2018),arXiv预印本
[65] 夏普,K.A。;Honig,B.,用非线性泊松-玻尔兹曼方程计算总静电能,J.Phys。化学。,94, 19, 7684-7692 (1990)
[66] 西里尼亚诺,J。;Spiliopoulos,K.,DGM:求解偏微分方程的深度学习算法,J.Comput。物理。,375, 1339-1364 (2018) ·Zbl 1416.65394号
[67] Sprecher,D.A.,《关于多变量连续函数的结构》,Trans。美国数学。《社会学杂志》,115,340-355(1965)·Zbl 0142.30401号
[68] Stüben,K.,代数多重网格简介,(多重网格(2001)),413-532
[69] 米歇尔·泰拉德。;Gibou,F。;Pollock,T.,二元合金凝固模拟的一种精确计算方法,J.Sci。计算。,63, 2, 330-354 (2015) ·Zbl 1426.76572号
[70] 嗯,K。;品牌,R。;Fei,Y.R。;Holl,P。;Thureey,N.,Solver-in-the-lop:从可微物理中学习与迭代pde-Solver交互,高级神经Inf.过程。系统。,33, 6111-6122 (2020)
[71] Wu,S。;Inn,B.Lu.,《接口神经网络作为解决接口pde问题的无网格方法》,J.Compute。物理。,470,第111588条pp.(2022)·Zbl 07599620号
[72] Yu,B.,The deep Ritz method:一种基于深度学习的数值算法,用于求解变分问题,Commun。数学。统计,6,1,1-12(2018)·Zbl 1392.35306号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。