内森·加比;叶晓静;周浩敏 高维演化偏微分方程参数解的神经控制。 （英语） Zbl 1534.65217号 SIAM J.科学。计算。 46，编号2，C155-C185（2024）. 摘要：我们开发了一种新的计算框架来近似求解演化偏微分方程（PDEs）的解算子。通过使用一般非线性降阶模型（如深度神经网络）来近似给定PDE的解，我们认识到模型参数的演化是参数空间中的控制问题。基于这一观察，我们建议通过学习参数空间中的控制向量场来近似PDE的解算子。从任何初始值出发，该控制场可以控制参数以生成轨迹，从而相应的降阶模型求解偏微分方程。这使得在任意初始条件下求解演化偏微分方程的计算成本大大降低。在求解一大类半线性抛物偏微分方程时，我们还对所提方法进行了全面的误差分析。在不同初始条件下的不同高维演化偏微分方程上的数值实验证明了该方法的良好结果。 MSC公司： 65M99型 偏微分方程、初值和含时初边值问题的数值方法 65岁15岁 涉及PDE的初值和初边值问题的误差界 65二氧化碳 蒙特卡罗方法 65K10码 数值优化和变分技术 35K58型 半线性抛物型方程 68问题32 计算学习理论 68T07型 人工神经网络与深度学习 33C20美元 广义超几何级数，（{}_pF_q\） 关键词：产品开发工程师;机器学习;数值分析 软件：DeepONet（深度网络）;hp-车辆识别号;MscaleDNN公司;FPIN编号;深XDE;DGM公司 PDF格式BibTeX公司 XML格式引用 \textit{N.Gaby}等人，SIAM J.Sci。计算。46，第2号，C155--C185（2024；Zbl 1534.65217） 全文： 内政部 arXiv公司 参考文献： [1] Ames，W.F.，《偏微分方程的数值方法》，学术出版社，纽约，2014年。 [2] Anderson，W.和Farazmand，M.，具有守恒量的偏微分方程非线性降阶解的演化，SIAM J.Sci。计算。，44（2022），第A176-A197页，doi:10.1137/21M1415972·Zbl 1484.65206号 [3] Anitescu，C.、Atroshchenko，E.、Alajlan，N.和Rabczuk，T.，二阶边值问题求解的人工神经网络方法，计算。马特。Continua，59（2019），第345-359页。 [4] Atkinson，K.，《数值分析导论》，第二版，John Wiley&Sons，纽约，1989年·Zbl 0718.65001号 [5] Bao，G.，Ye，X.，Zang，Y.，and Zhou，H.，弱对抗网络反问题的数值解，反问题，36（2020），115003，doi:10.1088/1361-6420/abb447·Zbl 1452.65308号 [6] Beck，C.，E，W.和Jentzen，A.，高维完全非线性偏微分方程和二阶倒向随机微分方程的机器学习近似算法，J.非线性科学。，29（2019），第1563-1619页·Zbl 1442.91116号 [7] Berg，J.和Nyström，K.，《复杂几何中偏微分方程的统一深度人工神经网络方法》，神经计算，317（2018），第28-41页。 [8] Boulé，N.、Earls，C.和Townsend，A.，数据驱动的格林函数发现与人类可理解的深度学习，科学。众议员，12（2022），4824，doi:10.1038/s41598-022-08745-5。 [9] Boulé，N.、Kim，S.、Shi，T.和Townsend，A.，学习与含时偏微分方程相关的格林函数，J.Mach。学习。Res.，23（2022），218。 [10] Bruna，J.、Pherstorfer，B.和Vanden-Eijnden，E.，高维演化方程主动学习的神经Galerkin方案，预印本，arXiv:2203.01360，2022。 [11] Cai，S.，Wang，Z.，Lu，L.，Zaki，T.A.和Karniadakis，G.E.，DeepM&Mnet：《基于神经网络算子逼近推断电对流多物理场》，预印本，arXiv:2009.129352020。 [12] Cai，W.、Li，X.和Liu，L.，高频近似和波动问题的相移深度神经网络，SIAM J.Sci。计算。，42（2020），第A3285-A3312页，doi:10.1137/19M1310050·Zbl 1455.35246号 [13] 蔡伟（Cai，W.）和徐振强（Xu，Z.-Q.J.），用于求解高维偏微分方程的多尺度深度神经网络，预印本，arXiv:1910.117102019。 [14] Chen，Y.，Dong，B.，and Xu，J.，Meta-MgNet:用于求解参数化偏微分方程的元多重网格网络，预印本，arXiv:2010.140882020。 [15] Clark Di Leoni，P.、Meneveau，C.、Karniadakis，G.和Zaki，T.，《预测高速边界层不稳定波的深层操作员神经网络（DeepONets）》，美国物理学会公报，马里兰州大学公园，2020年。 [16] Cuomo，S.、Di-Cola，V.S.、Giampaolo，F.、Rozza，G.、Raissi，M.和Piccialli，F.，《通过物理信息神经网络进行科学机器学习：我们在哪里，下一步是什么》，预印本，arXiv:2201.056242022。 [17] Dissanayake，M.和Phan-Thien，N.，解偏微分方程的基于神经网络的近似，Commun。数字。方法工程，10（1994），第195-201页·兹比尔0802.65102 [18] Dong，S.和Ni，N.，用深度神经网络表示周期函数和实施精确周期边界条件的方法，预印本，arXiv:2007.7442200。 [19] Du，Y.和Zaki，T.A.，《进化深层神经网络》，Phys。版本E（3），104（2021），045303，doi:10.1103/PhysRevE.104.045303。 [20] E、 W.，Han，J.和Jentzen，A.，基于深度学习的高维抛物型偏微分方程和倒向随机微分方程数值方法，Commun。数学。《统计》，第5卷（2017年），第349-380页·Zbl 1382.65016号 [21] E、 W.和Yu，B.，《深层Ritz方法：求解变分问题的基于深度学习的数值算法》，Commun。数学。《统计》第6卷（2018年），第1-12页·Zbl 1392.35306号 [22] Evans，G.、Blackledge，J.和Yardley，P.，《偏微分方程的数值方法》，Springer，纽约，2012年。 [23] Evans，L.C.，偏微分方程，美国数学学会，普罗维登斯，RI，1998年·Zbl 0902.35002号 [24] Fan，Y.，Bohorquez，C.O.，and Ying，L.，BCR-Net:基于非标准小波形式的神经网络，J.Compute。物理。，384（2019），第1-15页·Zbl 1451.65244号 [25] Fujii，M.、Takahashi，A.和Takahahi，M.，《渐进扩展作为高维BSDE深度学习方法的先验知识》，亚洲-太平洋。财务。作记号。，26（2019），第391-408页·Zbl 1422.91694号 [26] Gu，Y.，Wang，C.，and Yang，H.，结构探测神经网络通货紧缩，预印本，arXiv:2007.036092020。 [27] Gu，Y.，Yang，H.，and Zhou，C.，SelectNet:高维偏微分方程的自学习，预印本，arXiv:2001.048602020。 [28] Guhring，I.、Kutyniok，G.和Peterson，P.，（W^{s，P}）范数中深度ReLU神经网络近似的误差界，Anal。申请。（新加坡），18（2020年），第803-859页·Zbl 1452.41009号 [29] Gühring，I.和Raslan，M.，光滑空间中具有可编码权重的神经网络的近似率，神经网络。，134（2020），第107-130页，doi:10.1016/j.neunet.2020.11.010·Zbl 1475.68314号 [30] Guo，M.和Hesthaven，J.S.，时间相关问题的数据驱动降阶建模，计算。方法应用。机械。工程，345（2019），第75-99页，doi:10.1016/j.cma.2018.10.029·Zbl 1440.62346号 [31] Guo，X.、Li，W.和Iorio，F.，用于稳定流近似的卷积神经网络，载于第22届ACM SIGKDD知识发现和数据挖掘国际会议论文集，2016，第481-490页。 [32] Han，J.，Jentzen，A.和E，W.，《克服维数的诅咒：使用深度学习求解高维偏微分方程》，预印本，arXiv:1707.02568v12017年。 [33] Han，J.，Jentzen，A.和E，W.，《利用深度学习求解高维偏微分方程》，Proc。国家。阿卡德。科学。美国，115（2018），第8505-8510页，doi:10.1073/pnas.1718942115·Zbl 1416.35137号 [34] 韩，J.，卢，J.和周，M.，《使用深度神经网络解决高维特征值问题：扩散蒙特卡罗类方法》，J.Compute。物理。，423 (2020), 109792. ·Zbl 07508411号 [35] Han，Y.，Yoo，J.，Kim，H.H.，Shin，H.J.，Sung，K.，Ye，J.C.，《加速投影重建领域自适应深度学习》，MR，Magn。Reson公司。《医学》，80（2018），第1189-1205页。 [36] Hornik，K.，多层前馈网络的逼近能力，神经网络。，4（1991年），第251-257页。 [37] Hornik，K.、Stinchcombe，M.和White，H.，多层前馈网络是通用逼近器，神经网络。，2（1989年），第359-366页·Zbl 1383.92015年 [38] Huang，J.，Wang，H.，and Yang，H，Int-Dep:非线性问题的深度学习初始化迭代方法，J.Compute。物理。，419 (2020), 109675. ·Zbl 07507236号 [39] Huré，C.、Pham，H.和Warin，X.，《高维非线性偏微分方程的深向后格式》，数学。公司。，89（2020年），第1547-1579页·Zbl 1440.60063号 [40] Hutzenthaler，M.、Jentzen，A.、Kruse，T.和Nguyen，T.A.，关于修正深度神经网络克服半线性热方程数值近似中维数灾难的证明，偏微分。埃克。申请。，1 (2020), 10. ·Zbl 1455.65200元 [41] Jagtap，A.D.、Kawaguchi，K.和Karniadakis，G.E.，自适应激活函数加速了深度和物理信息神经网络的收敛，J.Compute。物理。，404 (2020), 109136. ·Zbl 1453.68165号 [42] Johnson，C.，《用有限元法求解偏微分方程》，Courier Corporation，North Chelmsford，MA，2012年。 [43] Kharazmi，E.，Zhang，and Karniadakis，G.E.，hp-VPINNs:变分物理信息神经网络，预印本，arXiv:2003.053852020。 [44] Kovachki，N.、Lanthaler，S.和Mishra，S.，《关于傅里叶神经算子的通用逼近和误差界》，J.Mach。学习。决议，22（2021），290·Zbl 07626805号 [45] Kovachki，N.B.、Li，Z.、Liu，B.、Azizzadenesheli，K.、Bhattacharya，K.，Stuart，A.M.和Anandkumar，A.，《神经算子：函数空间之间的学习映射与PDE的应用》，J.Mach。学习。决议，24（2023），89。 [46] Kumar，M.和Yadav，N.，微分方程求解的多层感知器和径向基函数神经网络方法：综述，计算。数学。申请。，62（2011），第3796-3811页·Zbl 1236.65107号 [47] Lagaris，I.E.，Likas，A.和Fotiadis，D.I.，求解常微分方程和偏微分方程的人工神经网络，IEEE Trans。神经网络。，9（1998年），第987-1000页。 [48] Lee，H.和Kang，I.S.，求解微分方程的神经算法，J.Compute。物理。，91（1990年），第110-131页·Zbl 0717.65062号 [49] Li，B.，Tang，S.和Yu，H.，用带整流功率单元的深度神经网络更好地逼近高维光滑函数，Commun。计算。物理。，27（2020），第379-411页，doi:10.4208/cicp。OA-2019-0168·Zbl 1474.65031号 [50] Li，Z.、Kovachki，N.、Azizzadenesheli，K.、Liu，B.、Bhattacharya，K.，Stuart，A.和Anandkumar，A.，参数偏微分方程的傅里叶神经算子，预印本，arXiv:2010.088952020。 [51] Li，Z.、Kovachki，N.、Azizzadenesheli，K.、Liu，B.、Bhattacharya，K.，Stuart，A.和Anandkumar，A.，《神经算子：偏微分方程的图形核网络》，预印本，arXiv:2003.034852020。 [52] Liang，S.和Srikant，R.，为什么使用深度神经网络进行函数逼近？，《国际学习代表大会（ICLR）会议记录》，2017年。 [53] Liang，S.和Yang，H.，解高维偏微分方程的有限表达式方法，预印本，arXiv:2206.101212022。 [54] Lin，G.，Chen，F.，Hu，P.，Chen-，X.，Chen-J.，Wang，J.，and Shi，Z.，BI-GreenNet:Learning Green’s Functions by Boundary Integral Network，preprint，arXiv:2204132472022。 [55] Liu，Z.，Cai，W.，Xu，Z.-Q.J.，用于求解复杂域中泊松-玻耳兹曼方程的多尺度深层神经网络（MscaleDNN），预印本，arXiv:2007.11207。 [56] Lötzsch，W.，Ohler，S.和Otterbach，J.S.，使用图形神经网络学习边值问题的解算子，预印本，arXiv:2206.10922022。 [57] Lu，L.，Jin，P.和Karniadakis，G.E.，DeepONet：基于算子的通用逼近定理学习非线性算子以识别微分方程，预印本，arXiv:1910.031932019。 [58] Lu，L.，Meng，X.，Mao，Z.和Karniadakis，G.E.，DeepXDE:求解微分方程的深度学习库，预印本，arXiv:1907.045022019。 [59] Luo，T.和Yang，H.，《偏微分方程的双层神经网络：优化和泛化理论》，预印本，arXiv:2006.15733，2020年。 [60] Lyu，L.，Wu，K.，Du，R.，Chen，J.，在深度混合残差法中实施精确边界和初始条件，预印本，arXiv:2008.014912020。 [61] Magill，M.、Qureshi，F.和de Haan，H.，《训练用于求解微分方程的神经网络学习一般表示法》，摘自《神经信息处理系统进展》，麻省理工学院出版社，马萨诸塞州剑桥，2018年，第4071-4081页。 [62] Mao，Z.，Lu，L.，Marxen，O.，Zaki，T.A.和Karniadakis，G.E.，《高超音速的深度M&Mnet：使用算符的神经网络近似预测正常激波后的耦合流和有限状态化学》，预印本，arXiv:2011.033492020。 [63] Nabian，M.A.和Meidani，H.，《高维随机偏微分方程的深层神经网络替代品》，预印本，arXiv:1806.029572018年。 [64] Nesterov，Y.，《凸规划入门讲座：基础课程》，1998年第1卷，第119-120页。 [65] Nüsken，N.和Richter，L.，使用神经网络求解高维Hamilton-Jacobi-Bellman偏微分方程：受控扩散理论的观点和路径空间的测度，偏微分。埃克。申请。，2 (2021), 48. ·Zbl 1480.35101号 [66] Pang，G.，D'Elia，M.，Parks，M.和Karniadakis，G.E.，nPINNs:参数化非局部泛拉普拉斯算子的非局部物理信息神经网络。算法与应用，预印本，arXiv:2004.042762020。 [67] Pang，G.，Lu，L.和Karniadakis，G.E.，fpinns：分数物理知情神经网络，SIAM J.Sci。计算。，41（2019），第A2603-A2626页，doi:10.1137/18M1229845·Zbl 1420.35459号 [68] Petersen，P.和Voigtlaender，F.，使用深度ReLU神经网络的分段光滑函数的最佳逼近，神经网络。，108（2018），第296-330页·Zbl 1434.68516号 [69] Pham，H.、Warin，X.和Germain，M.，基于神经网络的完全非线性偏微分方程反向方案，部分微分。埃克。申请。，2（2021），16，doi:10.1007/s42985-020-00062-8·Zbl 07341723号 [70] Quarteroni，A.和Valli，A.，《偏微分方程的数值逼近》，Springer-Verlag，柏林，2008年·Zbl 1151.65339号 [71] Raissi，M.和Karniadakis，G.E.，使用高斯过程的线性微分方程的机器学习，预印本，arXiv:1701.024402017。 [72] Raissi，M.、Perdikaris，P.和Karniadakis，G.E.，《以物理为基础的深度学习（第一部分）：非线性偏微分方程的数据驱动解》，预印本，arXiv:1711.105612017年。 [73] Raissi，M.、Perdikaris，P.和Karniadakis，G.E.，《基于物理的神经网络：用于解决涉及非线性偏微分方程的正问题和逆问题的深度学习框架》，J.Compute。物理。，378（2019），第686-707页·Zbl 1415.68175号 [74] Ramabathiran，A.A.和Ramachandran，P.，SPINN:PDE的稀疏、基于物理和部分可解释的神经网络，J.Compute。物理。，445 (2021), 110600. ·Zbl 07515856号 [75] Raonić，B.，Molinaro，R.，Rohner，T.，Mishra，S.，and de Bezenac，E.，卷积神经算子，预印本，arXiv:2302.01178，2023。 [76] Regazzoni，F.、Dedè，L.和Quarteroni，A.，时间相关微分方程快速可靠解的机器学习，J.Compute。物理。，397（2019），108852，doi:10.1016/j.jcp.2019.07.050·Zbl 1454.65185号 [77] Shin，Y.、Darbon，J.和Karniadakis，G.E.，《关于物理信息神经网络的收敛和推广》，预印本，arXiv:2004.018062020年。 [78] Sirignano，J.和Spiliopoulos，K.，DGM：解偏微分方程的深度学习算法，J.Compute。物理。，375（2018），第1339-1364页·Zbl 1416.65394号 [79] Srivastava，R.K.、Greff，K.和Schmidhuber，J.，《神经信息处理系统进展》，第28卷，Cortes，C.、Lawrence，N.、Lee，D.、Sugiyama，M.和Garnett，R.编辑，Curran Associates，Red Hook，NY，2015年，第2377-2385页。 [80] Tabuada，P.和Gharisfard，B.，通过控制透镜的深度剩余神经网络的通用逼近能力，IEEE Trans。自动化。对照，68（2023），第2715-2728页，doi:10.1109/TAC.2022.3190051·Zbl 07744594号 [81] Tang，T.和Yang，J.，Allen-Cahn方程的隐式显式格式保留了最大值原理，J.Compute。数学。，34（2016），第471-481页，doi:10.4208/jcm.1603-m2014-0017。 [82] Teng，Y.，Zhang，X.，Wang，Z.，and Ju，L.，学习线性反应扩散方程的格林函数及其在快速数值求解器中的应用，《数学与科学机器学习学报》，2022年，第1-16页·Zbl 1502.65142号 [83] Thomas，J.W.，《数值偏微分方程：守恒定律和椭圆方程》，Springer，纽约，2013年。 [84] Thomas，J.W.，《数值偏微分方程：有限差分方法》，Springer，纽约，2013年。 [85] Wang，B.，Zhang，W.和Cai，W.，复杂域中振荡斯托克斯流的多尺度深度神经网络（MscaleDNN）方法，预印本，arXiv:2009.127292020。 [86] Wang，C.，Li，S.，He，D.，and Wang，L.，（L^2）Physics-Informed Loss总是适合训练Physics Informed Neural Network吗？，预印本，arXiv:2206.02016，2022。 [87] Wang，S.、Sankaran，S.和Perdikaris，P.，《尊重因果关系是训练物理信息神经网络所需的全部》，预印本，arXiv:2203.074042022。 [88] Wang，S.、Wang，H.和Perdikaris，P.，利用物理学学习参数偏微分方程的解算子。高级，7（2021），eabi8605。 [89] Wen，G.，Li，Z.，Azizzadenesheli，K.，Anandkumar，A.，and Benson，S.M.，U-FNO-基于增强傅里叶神经算子的多相流深度学习模型，Adv.Water Resour。，163 (2022), 104180. [90] Yang，L.，Zhang，D.和Karniadakis，G.E.，《随机微分方程的物理信息生成对抗网络》，SIAM J.Sci。计算。，42（2020），第A292-A317页，doi:10.1137/18M1225409·Zbl 1440.60065号 [91] Yang，Y.和Perdikaris，P.，《物理信息神经网络中的对抗不确定性量化》，J.Compute。物理。，394（2019），第136-152页·Zbl 1452.68171号 [92] Yarotsky，D.，深度ReLU网络近似的误差界，神经网络。，94（2017年），第103-114页·Zbl 1429.68260号 [93] Zang，Y.、Bao，G.、Ye，X.和Zhou，H.，高维偏微分方程的弱对抗网络，J.Compute。物理。，411 (2020), 109409. ·Zbl 1436.65156号 [94] Zhang，E.，Yin，M.和Karniadakis，G.E.，《弹性成像中非均匀材料识别的物理信息神经网络》，预印本，arXiv:2009.045252020。 [95] Zhu，Y.和Zabaras，N.，代理建模和不确定性量化的贝叶斯深度卷积编解码网络，J.Compute。物理。，366（2018），第415-447页·Zbl 1407.62091号 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。