布莱希施密特，简;奥利弗·恩斯特（Oliver G.Ernst）。 用神经网络求解偏微分方程的三种方法——综述。 （英语） Zbl 1530.65137号 GAMM-Mitt公司。 44，第2号，文章ID 202100006，29 p.（2021）. 摘要：神经网络越来越多地用于构造偏微分方程的数值求解方法。在这篇解释性综述中，我们介绍并对比了三种近期的重要方法，它们以其简单性和对高维问题的适用性而引人注目：基于物理信息的神经网络、基于Feynman-Kac公式的方法和基于反向随机微分方程解的方法。本文附有一套以Jupyter笔记本电脑为形式的说明性软件，其中逐一解释了每种基本方法，允许快速吸收和实验。一份广泛的参考书目概述了这一技术的现状。©2021作者。GAMM-Mitteilungen公司由Wiley-VCH GmbH出版。 引用于5文件 MSC公司： 65米99 偏微分方程、初值和含时初边值问题的数值方法 68T07型 人工神经网络与深度学习 68问题32 计算学习理论 65升06 常微分方程的多步、Runge-Kutta和外推方法 65-02 与数值分析相关的研究展览（专著、调查文章） 35K10码 二阶抛物方程 93E20型 最优随机控制 35卢比60 随机偏微分方程的偏微分方程 关键词：反向微分方程;维数灾难;卡茨;Hamilton-Jacobi-Bellman方程;神经网络;偏微分方程;PIN码;随机过程 软件：DeepONet（深度网络）;PyTorch公司;TensorFlow公司 PDF格式BibTeX公司 XML格式引用 \textit{J.Blechschmidt}和\textit{O.G.Ernst}，GAMM-Mitt。44，第2号，文章ID 202100006，29 p.（2021；Zbl 1530.65137） 全文： 内政部 arXiv公司 OA许可证 参考文献： [1] M.Abadi等人，《TensorFlow:异构系统上的大规模机器学习》，2015年。软件可从tensorflow.org获得。 [2] A.Bachouch等人，《有限水平随机控制问题的深度神经网络算法：数值应用》，arXiv:1812.059162020年。 [3] C.Basdevant等人，Burgers方程的谱和有限差分解，计算与《流体》14（1986），23-41·Zbl 0612.76031号 [4] A.G.Baydin等人，《机器学习中的自动微分：一项调查》，J.Mach。学习。第18号决议（2018年），第43号论文，第153号·Zbl 06982909号 [5] C.Beck和A.Jentzen，高维完全非线性偏微分方程和二阶倒向随机微分方程的机器学习近似算法，《非线性科学杂志》29（2019），1563-1619·Zbl 1442.91116号 [6] C.Beck等人，《利用深度学习求解随机微分方程和Kolmogorov方程》，arXiv:1806.004212018年。 [7] C.Beck等人，抛物线偏微分方程的深度分裂方法，arXiv:1907.034522019。 [8] C.Beck等人，通过截断的全历史递归多级Picard近似克服Allen-Cahn偏微分方程数值近似中的维数灾难，J.Numer。数学28（2020），197-222·Zbl 1471.65169号 [9] C.Beck等人，《偏微分方程基于深度学习的近似方法概述》，arXiv:2012.123482020。 [10] R.Bellman，《动态编程》，普林斯顿大学出版社，新泽西州普林斯顿，1957年·Zbl 0077.13605号 [11] J‐D。Benamou，B.D.Froese和A.M.Oberman，椭圆Monge‐Ampère方程的两种数值方法，M2AN。数学。模型1。数字。分析44（2010），737-758·Zbl 1192.65138号 [12] C.Bender和R.Denk，反向SDE的正向方案，随机过程。申请117（2007），1793-1812·Zbl 1131.60054号 [13] C.Bender、N.Schweizer和J.Zhuo，BSDEs的一种原对偶算法，数学。《金融》27（2017），866-901·Zbl 1423.91008号 [14] P.Beneventano等人，《人工神经网络的高维近似空间及其在偏微分方程中的应用》，arXiv:2012.043262020。 [15] Y.Bengio，《学习人工智能的深层架构》，Now Publishers Inc.，2009年·Zbl 1192.68503号 [16] J.Berg和K.Nyström，复杂几何偏微分方程的统一深度人工神经网络方法，Neurocomputing317（2018），28-41。 [17] J.Berner、M.Dablander和P.Grohs，通过深度学习数值求解高维Kolmogorov偏微分方程的参数族，高级神经信息。过程。系统33（2020）。 [18] J.Berner、P.Grohs和A.Jentzen，《泛化误差分析：深度人工神经网络的经验风险最小化克服了Black-Scholes偏微分方程数值逼近中的维数灾难》，SIAM J.Math。数据科学2（2020），631-657·Zbl 1480.60191号 [19] J.Bezanson等人，Julia:数值计算的新方法，SIAM Rev.59（2017），65-98·Zbl 1356.68030号 [20] K.Bhattacharya等人，参数PDE的模型简化和神经网络，arXiv:2005.031802020。 [21] J.Blechschmidt、R.Herzog和M.Winkler，非变量形式二阶偏微分方程的误差估计，数值。方法偏微分方程（2020）。 [22] H.Bolcskei等人，稀疏连接深层神经网络的最佳逼近，SIAM J.Math。数据科学1（2019），8-45·Zbl 1499.41029号 [23] L.Bottou、F.E.Curtis和J.Nocedal，《大规模机器学习的优化方法》，SIAM Rev.60（2018），223-311·Zbl 1397.65085号 [24] B.Bouchard和N.Touzi，反向随机微分方程的离散时间近似和蒙特卡罗模拟，随机过程。申请111（2004），175-206·Zbl 1071.60059号 [25] M.J.Brennan和E.S.Schwartz，《未定权益定价中的有限差分方法和跳跃过程：综合》，J.Financ。数量。分析。(1978), 461-474. [26] S.C.Brenner和M.Neilan，三维Monge‐Ampère方程的有限元近似，ESAIM。数学。模型1。数字。分析46（2012），979-1001·Zbl 1272.65088号 [27] S.C.Brenner和L.R.Scott，《有限元方法的数学理论》，摘自《应用数学文本》，第三版，xviii+397，第15卷，纽约斯普林格出版社，2008年。https://doi.org/10.1007/978‐0‐387‐75934‐0. ·Zbl 1135.65042号 ·doi:10.1007/978‐0‐387‐75934‐0 [28] D.Brigo、M.Morini和A.Pallavicini，《交易对手信用风险、抵押品和融资：所有资产类别的定价案例》，第478卷，John Wiley&Sons，2013年·Zbl 1288.91001号 [29] W.Cai、X.Li和L.Liu，用于高频近似和波问题的相移深度神经网络，SIAM J.Sci。计算42（2020年），A3285-A3312·Zbl 1455.35246号 [30] W.Cai和Z.‐Q。徐军，用于求解高维偏微分方程的多尺度深度神经网络，arXiv:1910.11710v12019。 [31] Q.Chan‐Wai‐Nam、J.Mikael和X.Warin，《半线性偏微分方程的机器学习》，2018。 [32] J.‐F.公司。Chassagneux，BSDE的线性多步方案，SIAM J.Numer。分析52（2014），2815-2836·Zbl 1326.65017号 [33] J.‐F.公司。Chassagneux，A.Richou，et al.，二次BSDEs的数值模拟，Ann.Appl。Probab.26（2016），262-304·Zbl 1334.60129号 [34] X.Chen，J.Duan和G.E.Karniadakis，《稀疏测量随机对流扩散反应系统的学习和元学习》，arXiv:1910.090982019年。 [35] P.Cheridito等人，二阶倒向随机微分方程和完全非线性抛物线偏微分方程，Comm.Pure Appl。数学60（2007），1081-1110·Zbl 1121.60062号 [36] S.Crépey，融资约束下的双边交易对手风险——第一部分：定价，数学。《财务》25（2015），1-22·Zbl 1314.91207号 [37] G.Cybenko，通过sigmoid函数的叠加进行逼近，数学。控制信号系统2（1989），303-314·Zbl 0679.94019号 [38] J.Darbon、G.P.Langlois和T.Meng，通过神经网络架构克服某些Hamilton-Jacobi偏微分方程的维数灾难，Res.Math。科学7（2020），20·Zbl 1445.35119号 [39] J.Darbon和T.Meng，关于能够表示某些高维Hamilton-Jacobi偏微分方程粘性解的一些神经网络结构，J.Compute。《物理学》第425卷（2020年），第109907页·兹伯利07508503 [40] J.Darbon和S.Osher，控制理论和其他领域中出现的某些Hamilton-Jacobi方程克服维数灾难的算法，《数学研究》。科学3，19-2016·Zbl 1348.49026号 [41] R.W.Darling，E.Pardoux，et al.，具有随机终止时间的向后SDE及其在半线性椭圆PDE中的应用，Ann.Probab.25（1997），1135-1159·Zbl 0895.60067号 [42] J.Duchi、E.Hazan和Y.Singer，在线学习和随机优化的自适应次梯度方法，J.Mach。学习。第12号决议（2011年）·Zbl 1280.68164号 [43] W.E.J.Han和A.Jentzen，基于深度学习的高维抛物型偏微分方程和倒向随机微分方程数值方法，Commun。数学。Stat.5（2017），349-380·兹比尔1382.65016 [44] W.E.J.Han和B.Yu，深度Ritz方法：一种基于深度学习的求解变分问题的数值算法，Commun。数学。统计6（2018），1-12·Zbl 1392.35306号 [45] W.E.J.Han等人，《求解高维非线性抛物型微分方程的线性缩放算法》，SAM研究报告2017-43，ETH，苏黎世，2017年。 [46] W.E.J.Han等，求解光滑半线性抛物型热方程的多级Picard迭代，arXiv:1607.03295v42019。 [47] W.E.J.Han等人，《关于高维非线性抛物型偏微分方程和高维非线性倒向随机微分方程的多级Picard数值逼近》，J.Sci。计算79（2019），1534-1571·兹比尔1418.65149 [48] N.El Karoui、S.Peng和M.C.Queez，金融中的倒退随机微分方程，数学。《财政》7（1997），1-71·Zbl 0884.90035号 [49] D.Elbrächter等人，《高维PDE的DNN表达率分析：期权定价应用》，arXiv:1809.07669（2018）。 [50] H.Emmerich，《材料科学中的扩散界面方法：相场模型的热力学概念和应用》，第73卷，Springer科学与商业媒体，2003年·Zbl 1039.74001号 [51] X.Feng和M.Neilan，基于消失矩法的完全非线性Monge‐Ampère方程的混合有限元方法，SIAM J.Numer。分析47（2009），1226-1250·Zbl 1195.65170号 [52] W.H.Fleming和R.W.Rishel，确定性和随机最优控制，vii+222，《数学应用》，Springer‐Verlag，柏林，纽约，1975年第1期·Zbl 0323.49001号 [53] M.Fujii、A.Takahashi和M.Takahahi，《渐进扩张作为高维BSDE深度学习方法的先验知识》，亚太金融。Mark.26（2019），391-408·Zbl 1422.91694号 [54] A.Genthon，《布朗运动历史中的速度概念》，《欧洲物理学》。J.H45（2020），49-105。 [55] D.Gilbarg和N.S.Trudinger，二阶椭圆偏微分方程，收录于《数学经典》，xiv+517，Springer‐Verlag，柏林，2001年。重印1998年版·Zbl 1042.35002号 [56] M.B.Giles，多级蒙特卡罗路径模拟，Oper。第56号决议（2008年），607-617·兹比尔1167.65316 [57] M.B.Giles、A.Jentzen和T.Welti，广义多级Picard近似，arXiv:1911.03188v12019。 [58] X.Glrot和Y.Bengio，《理解训练深度前馈神经网络的困难》，载于《第十三届人工智能和统计国际会议论文集》，JMLR研讨会和会议论文集，249-256。 [59] E.Gobet，《蒙特卡罗方法和随机过程：从线性到非线性》，CRC出版社，2016年·Zbl 1359.65012号 [60] E.Gobet和P.Turkedjiev，倒向随机微分方程最小二乘蒙特卡罗算法中的自适应重要性抽样，随机过程。申请127（2017），1171-1203·Zbl 1361.93067号 [61] L.Gonon和C.Schwab，高维指数Lévy模型中期权价格的Deep ReLU网络表达率，2020年-52年，应用数学研讨会，ETH，瑞士苏黎世，2020年https://www.sam.math.ethz.ch/sam_reports/reports_final/reports2020/2020‐52.pdf。 [62] L.Gonon和C.Schwab，带跳随机微分方程的Deep ReLU神经网络近似，2021‐08，应用数学研讨会，ETH，苏黎世，2021。 [63] I.Goodfellow等人，《深度学习》，麻省理工学院出版社，马萨诸塞州剑桥，2016年·Zbl 1373.68009号 [64] C.Graham和D.Talay，随机模拟和蒙特卡罗方法，《随机建模和应用概率》。随机模拟的数学基础，第68卷，施普林格，海德堡，2013，xvi+260。https://doi.org/10.1007/978‐3‐642‐39363‐1. ·Zbl 1281.65003号 ·doi:10.1007/978‐3‐642‐39363‐1 [65] P.Grohs等人，《人工神经网络在Black-Scholes偏微分方程数值逼近中克服维数灾难的证明》，arXiv:1809.02362018。 [66] E.Haghighat等人，《固体力学解决方案和发现的深度学习框架》，arXiv:2003.027512020年。 [67] E.Hairer、S.P.Nørsett和G.Wanner，求解常微分方程。一： 非刚性问题，收录于Springer Series in Computational Mathematics，Vol 8，Springer‐Verlag，Berlin，Heidelberg，1993。https://doi.org/10.1007/978‐3‐540‐78862‐1. ·Zbl 0789.65048号 ·doi:10.1007/978‐3‐540‐78862‐1 [68] J·韩和W·E·J·韩，随机控制问题的深度学习近似，arXiv:1611.074222016。 [69] J.Han、A.Jentzen和W.E.J.Han.使用深度学习求解高维偏微分方程，Proc。美国国家科学院。科学。《美国参考》第115卷（2018年），第8505-8510页·Zbl 1416.35137号 [70] A.Heinlein、A.Klawonn、M.Lanser和J.Weber，结合机器学习和区域分解方法求解偏微分方程——综述。GAMM‐Mitteilungen公司。2021;44:e202100001。https://doi.org/10.1002/gamm.202100001。 ·Zbl 1528.65124号 ·doi:10.1002/gamm.202100001 [71] P.Henry‐Labordere，《BSDEs的深度原始对偶算法：机器学习在CVA和IM中的应用》，见SSRN 30715062017。 [72] P.Henry‐Labordere、C.Litterer和Z.Ren，《随机控制问题的对偶算法：不确定波动率模型和CVA的应用》，SIAM J.Financ。数学7（2016），159-182·Zbl 1338.93401号 [73] P.Henry‐Labordere、X.Tan和N.Touzi，一类BSDE通过分支过程随机过程的数值算法。申请124（2014），1112-1140·Zbl 1301.60084号 [74] P.Henry‐Labordere等人，半线性偏微分方程的分支扩散表示和蒙特卡罗近似，Ann.Inst.Henri PoincaréProbab。Stat.55（2019），184-210·Zbl 1467.60067号 [75] L.Herrmann、J.A.A.Opschoor和C.Schwab，《构造性深层ReLU神经网络逼近》，2021年至2004年，应用数学研讨会，苏黎世，ETH，2021·Zbl 1500.41002号 [76] D.J.Higham，应用和计算数学中的随机常微分方程，IMA J.Appl。数学76（2011），449-474·Zbl 1221.60099号 [77] E.Hopf，一阶非线性方程的广义解，J.Math。机械14（1965），951-973·Zbl 0168.35101号 [78] K.Hornik，多层前馈网络的近似能力，神经网络4（1991），251-257。 [79] K.Hornik、M.Stinchcombe和H.White，使用多层前馈网络的未知映射及其导数的普遍近似，神经网络3（1990），551-560。 [80] C.Huré等人，有限时域随机控制问题的深度神经网络算法：收敛分析，2021年·Zbl 1466.65007号 [81] M.Hutzenthaler、A.Jentzen和T.Kruse，克服具有梯度相关非线性的抛物型偏微分方程数值逼近中的维数灾难，arXiv:1912.025712019。 [82] M.Hutzenthaler、A.Jentzen和V.W.Wurstemberger，克服具有违约风险的金融衍生品近似定价中的维度诅咒，Electron。J.Probab.25（2020），73。https://doi.org/10.1214/20‐EJP423·兹比尔1469.60220 ·doi:10.1214/20‐EJP423 [83] M.Hutzenthaler和T.Kruse，具有梯度相关非线性的高维半线性抛物型微分方程的多级Picard逼近，SIAM J.Numer。分析58（2020），929-961。 [84] M.Hutzenthaler等人，克服半线性抛物型偏微分方程数值逼近中的维数灾难，Proc。R.Soc.A：数学。物理学。《工程科学》476（2020），20190630·Zbl 1472.65157号 [85] M.Hutzenthaler等人，在半线性热方程的数值逼近中，修正深度神经网络克服维数灾难的证明，SN部分。不同。方程式应用1（2020），1-34·Zbl 1455.65200元 [86] S.Ioffe和C.Szegedy，《批量规范化：通过减少内部协变量转移来加速深层网络训练》，机器学习国际会议，PMLR，448-456。 [87] K.Itó，随机积分，第20卷，《帝国学院学报》，东京，1944年，519-524http://projecteuclid.org/euclid.pja/1195572786。 ·Zbl 0060.29105号 [88] A.Jagtap和G.Karniadakis，《扩展物理信息神经网络（XPINNs）：基于广义时空域分解的非线性偏微分方程深度学习框架》，Commun。计算。《物理学》第28卷（2020年），2002-2041年·Zbl 07419158号 [89] A.D.Jagtapa、K.Kawaguchib和G.EmKarniadakis，自适应激活函数加速了深层物理信息神经网络的收敛，J.Compute。《物理学》第404卷（2020年），第109-136页·Zbl 1453.68165号 [90] A.D.Jagtap、K.Kawaguchi和G.Em Karniadakis，深度和物理信息神经网络斜率恢复的局部自适应激活函数，Proc。R.Soc.A476（2020），20200334·Zbl 1472.68175号 [91] A.D.Jagtap、E.Kharazmi和G.E.Karniadakis，守恒定律离散域上的守恒物理信息神经网络：正问题和反问题的应用，计算。方法应用。机械。工程.365（2020），113028·Zbl 1442.92002号 [92] A.Jentzen、D.Salimova和T.Welti，深度人工神经网络在具有常数扩散和非线性漂移系数的Kolmogorov偏微分方程的数值逼近中克服维数灾难的证明，arXiv:1809.073212018。 [93] M.Kac，关于某些Wiener泛函的分布，Trans。阿默尔。数学。Soc.65（1949），1-13·Zbl 0032.03501号 [94] I.Karatzas和S.Shreve，《布朗运动与随机微积分》，第113卷，施普林格出版社，柏林，2014年。 [95] D.P.Kingma和J.Ba，Adam：随机优化方法，arXiv:1412.6980 2014。 [96] P.E.Kloeden和E.Platen，随机微分方程的数值解，《数学应用》（纽约），第23卷，Springer‐Verlag，柏林，1992，xxxvi+632。https://doi.org/10.1007/978‐3‐662‐12616‐5. ·Zbl 0925.65261号 ·doi:10.1007/978‐3‐662‐12616‐5 [97] H.J.Kushner，扩散和条件扩散过程密度的Kolmogorov方程弱解的有限差分方法，J.Math。分析。申请53（1976），251-265·Zbl 0329.65059号 [98] H.J.Kushner，概率和随机控制理论在退化椭圆方程和抛物方程有限差分方法中的一些应用综述，SIAM Rev.Publ。社会工业。申请。数学18（1976），545-577·Zbl 0351.60056号 [99] F.Laakmann和P.Petersen，ReLU DNNs对参数线性传输方程解的有效逼近，高级计算。数学47（2021），1-32·Zbl 1472.65134号 [100] I.E.Lagaris、A.Likas和D.I.Fotiadis，求解常微分方程和偏微分方程的人工神经网络，IEEE Trans。神经网络9（1998），987-1000。 [101] I.E.Lagaris、A.Likas和D.G.Papageorgiou，不规则边界边值问题的神经网络方法，IEEE Trans。神经网络11（2000），1041-1049。 [102] Y.LeCun、Y.Bengio和G.Hinton，《深度学习》，《自然》521（2015），第436-444页。 [103] H.Lee和I.S.Kang，求解微分方程的神经算法，J.Compute。《物理学》91（1990），110-131·Zbl 0717.65062号 [104] 十-答。Li，多尺度非线性椭圆方程的多尺度DNN算法，Commun。计算。《物理学》第28卷（2020年），1886-1906年·Zbl 1474.65445号 [105] Z.Li等人，参数偏微分方程的Fourier神经算子，arXiv:2010.08895 2020。 [106] Z.Li等人，参数偏微分方程的多极图神经算子，arXiv:2006.095352020。 [107] Z.Li等人，《神经算子：偏微分方程的图核网络》，arXiv:2003.034852020。 [108] 廖毅，明鹏，Deep Nitsche方法：具有必要边界条件的Deep Ritz方法，arXiv:1912.013092019·Zbl 1473.65309号 [109] D.C.Liu和J.Nocedal，关于大规模优化的有限内存BFGS方法，数学。方案.45（1989），503-528·Zbl 0696.90048号 [110] Z.Liu、W.Cai和Z.‐Q。J.Xu，多尺度深层神经网络（MscaleDNN），用于求解复杂域中的泊松-玻尔兹曼方程，Commun。计算。《物理学》第28卷（2020年），1970年至2001年·Zbl 1473.65348号 [111] D.Lu等人，利用结构MR和FDG‐PET图像对阿尔茨海默病进行早期诊断的多模态和多尺度深层神经网络，科学。Rep.8（2018），1-13。 [112] L.Lu、P.Jin和G.E.Karniadakis，Deeponet:基于算子的普遍逼近定理识别微分方程的学习非线性算子，arXiv:1910.031932019。 [113] K.O.Lye、S.Mishra和D.Ray，《计算流体动力学中的深度学习观察》，J.Compute。《物理学》第410卷（2020年），第109339页·Zbl 1436.76051号 [114] A.L.Maas、A.Y.Hannun和A.Y.Ng，《整流器非线性改善神经网络声学模型》，ICML音频、语音和语言处理深度学习研讨会。 [115] J.Magiera等人，《Riemann问题的约束感知神经网络》，J.Compute。《物理学》第409卷（2020年），第109345页·兹比尔1435.76046 [116] A.Malek和R.S.Beidokhti，使用混合神经网络优化方法求解高阶微分方程，应用。数学。计算183（2006），260-271·Zbl 1105.65340号 [117] Z.Mao、A.D.Jagtap和G.E.Karniadakis，《高速流动的物理信息神经网络》，计算。方法应用。机械。工程360（2020），112789http://www.sciencedirect.com/science/article/pii/S0045782519306814。 ·Zbl 1442.76092号 [118] C.Marcati等人，点和边奇异性的指数ReLU神经网络近似率，2020年至65年（修订版），应用数学研讨会，ETH，苏黎世，2020年。 [119] G.Maruyama，连续马尔可夫过程和随机方程，Rend。循环。马特·巴勒莫（2）4（1955），48·Zbl 0053.40901号 [120] A.J.米德。和A.A.Fernandez，线性常微分方程的前馈神经网络数值解，数学。计算。建模19（1994），1-25·Zbl 0807.65079号 [121] X.Meng和G.E.Karniadakis，《从多保真数据中学习的复合神经网络：函数逼近和PDE逆问题的应用》，J.Compute。《物理》401（2020），109020·Zbl 1454.76006号 [122] H.N.Mhaskar，平滑函数和解析函数最佳逼近的神经网络，《神经计算》8（1996），164-177。 [123] H.N.Mhaskar和T.Poggio，《深层网络与浅层网络：近似理论视角》，Ana。申请14（2016），829-848·Zbl 1355.68233号 [124] G.Milstein，有界域中扩散过程的弱近似，随机：Int.J.Probab。随机过程62（1997），147-200·Zbl 0893.60032号 [125] S.Mishra，《数据驱动微分方程计算加速的机器学习框架》，arXiv:1807.095192018年。 [126] S.Mishra和R.Molinaro，用于近似PDE II的物理信息神经网络（PINNs）的泛化误差估计：一类逆问题，arXiv:2007.011382020。 [127] G.S.Misyris、A.Venzke和S.Chatzivasileiadis，电力系统物理信息神经网络，2020年IEEE电力与能源学会大会（PESGM），IEEE，1-5。 [128] H.Montanelli和Q.Du，使用稀疏网格的深层ReLU网络的新误差界，SIAM J.Math。数据科学1（2019），78-92·Zbl 1513.68054号 [129] M.A.Nabian和H.Meidani，高维随机偏微分方程的深度学习解法，Probab。工程机械57（2019），14-25。 [130] M.Neilan，二阶非变分椭圆问题有限元方法的收敛性分析，J.Numer。数学25（2017），169-184·Zbl 1375.65144号 [131] N.H.Nelsen和A.M.Stuart，巴拿赫空间之间输入输出映射的随机特征模型，arXiv:2005.102242020。 [132] V.M.Nguyen‐Thanh、X.Zhuang和T.Rabczuk，《有限变形超弹性的深能方法》，《欧洲力学杂志-A/Solids80》（2020），103874·Zbl 1472.74213号 [133] B.Øksendal，《随机微分方程》，斯普林格，柏林，海德堡，2003年。https://doi.org/10.1007/978‐3‐642‐14394‐6. ·doi:10.1007/978‐3‐642‐14394‐6 [134] J.A.A.Opschoor、P.C.Petersen和C.Schwab，《Deep ReLU网络和高阶有限元方法》，分析。申请18（2020），715-770·Zbl 1452.65354号 [135] G.Pang、L.Lu和G.E.Karniadakis，fPINNs:分数物理信息神经网络，SIAM J.Sci。计算41（2019年），A2603-A2626·Zbl 1420.35459号 [136] G.Pang、L.Yang和G.E.Karniadakis，神经网络诱导的函数近似和PDE解的高斯过程回归，J.Compute。《物理学》384（2019），270-288·Zbl 1451.68242号 [137] E.Pardoux和S.Peng，倒向随机微分方程的自适应解，系统控制Lett.14（1990），55-61·Zbl 0692.93064号 [138] E.Pardoux和S.Peng，倒向随机微分方程和拟线性抛物型偏微分方程，收录于《随机偏微分方程及其应用》，Springer，1992年，200-217·Zbl 0766.60079号 [139] E.Pardoux和D.Talay，随机微分方程的离散化和模拟，Acta Appl。数学3（1985），23-47·Zbl 0554.60062号 [140] E.Pardoux和S.Tang，前向随机微分方程和拟线性抛物偏微分方程，Probab。理论相关领域114（1999），123-150·Zbl 0943.60057号 [141] A.Paszke等人，《PyTorch中的自动区分》，NIPS 2017年研讨会，2017年。 [142] D.Perekrestenko等人，《有限宽度深度ReLU网络的通用逼近能力》，arXiv:1806.015282018。 [143] P.Petersen、M.Raslan和F.Voigtlaender，由固定大小的神经网络生成的函数集的拓扑性质，Found。计算。数学。(2020), 1-70. [144] P.Petersen和F.Voigtlaender，使用深度ReLU神经网络的分段光滑函数的最佳逼近，神经网络108（2018），296-330·Zbl 1434.68516号 [145] H.Pham，金融应用的连续时间随机控制和优化随机建模和应用概率，第61卷，xviii+232，Springer‐Verlag，柏林，2009，doi:10.1007/978‐3‐540‐89500‐8·Zbl 1165.93039号 [146] A.Pinkus，MLP模型的近似理论，《数值学报》8（1999），143-195·Zbl 0959.68109号 [147] W.B.Powell，《关于近似动态编程，你应该知道什么》，《海军研究后勤》第56期（2009年），第239-249页·Zbl 1158.90418号 [148] P.E.Protter，随机积分和微分方程。随机建模与应用概率，第2版，第21卷，施普林格出版社，柏林，2005年。https://doi.org/10.1007/978‐3‐662‐10061‐5 xiv+419，2.1版，更正第三次印刷。 ·doi:10.1007/978‐3‐662‐10061‐5 [149] D.C.Psichogios和L.H.Ungar，过程建模的混合神经网络第一原理方法，AIChE J.38（1992），1499-1511。 [150] C.Rackauckas和Q.Nie，differential equations.jl-解决微分方程的性能丰富的生态系统，Julia，J.Open Res.Softw.5（2017）。 [151] M.Raissi，《深层隐藏物理模型：非线性偏微分方程的深层学习》，arXiv:1801.066372018年·Zbl 1439.68021号 [152] M.Raissi，《前向-后向随机神经网络：高维偏微分方程的深度学习》，arXiv:1804.070102018年。 [153] M.Raissi和G.E.Karniadakis，《隐藏的物理模型：非线性偏微分方程的机器学习》，J.Comput。《物理学》357（2018），125-141·Zbl 1381.68248号 [154] M.Raissi、P.Perdikaris和G.E.Karniadakis，使用高斯过程的线性微分方程机器学习，J.Compute。《物理学》第348卷（2017年），第683-693页·Zbl 1380.68339号 [155] M.Raissi、P.Perdikaris和G.E.Karniadakis，时间相关和非线性偏微分方程的数值高斯过程，arXiv:1703.102302017。 [156] M.Raissi、P.Perdikaris和G.E.Karniadakis，《物理学促进深度学习（第一部分）：非线性偏微分方程的数据驱动解》，arXiv:1711.105612017年。 [157] M.Raissi、P.Perdikaris和G.E.Karniadakis，《物理学促进深度学习（第二部分）：非线性偏微分方程的数据驱动发现》，arXiv:1711.105662017年。 [158] M.Raissi、P.Perdikaris和G.E.Karniadakis，时间相关和非线性偏微分方程的数值高斯过程，SIAM J.Sci。计算结果40（2018年），A172-A198·Zbl 1386.65030号 [159] M.Raissi、P.Perdikaris和G.E.Karniadakis，《基于物理的神经网络：解决涉及非线性偏微分方程的正向和反向问题的深度学习框架》，J.Compute。《物理学》378（2019），686-707·Zbl 1415.68175号 [160] M.Raissi、A.Yazdani和G.E.Karniadakis，《隐藏流体力学：Navier-Stokes为同化流动可视化数据提供了深度学习框架》，arXiv:1808.043272018年。 [161] P.Ramuhalli、L.Udpa和S.S.Udpa.，求解微分方程的有限元神经网络，IEEE Trans。神经网络16（2005），1381-1392。 [162] C.Rao、H.Sun和Y.Liu，《物理学为无标记数据的计算弹性动力学的深度学习提供了信息》，arXiv:2006.084722020。 [163] C.Rao、H.Sun和Y.Liu，《不可压缩层流的物理学深度学习》，Theor。申请。机械。Lett.10（2020），207-212。 [164] C.E.Rasmussen，机器学习中的高斯过程。机器学习暑期学校，斯普林格，63-71·Zbl 1120.68436号 [165] D.Revuz和M.Yor，连续鞅和布朗运动，Grundlehren der Mathematischen Wissenschaften[数学科学基本原理]，第293卷，第3版，Springer‐Verlag，柏林，1999，https://doi.org/10.1007/978‐3‐662‐06400‐9，xiv+602·兹比尔0917.60006 ·doi:10.1007/978‐3‐662‐06400‐9 [166] K.Rudd，《利用人工神经网络求解偏微分方程》，杜克大学博士论文，2013年。 [167] S.Ruder，梯度下降优化算法概述，arXiv:1609.047472016。 [168] S.H.Rudy等人，偏微分方程的数据驱动发现，科学。Adv.3（2017）。 [169] W.Schachermayer，《引言：1900年以来Bachelier的论文》，收录于《概率论与统计学讲座》、《数学讲义》，第1816卷，s.Albeverio（编辑）、W.Schachermayer（编辑）和M.Talagrand（编辑），编辑，Springer‐Verlag，Berlin，Heidelberg，2003年，第111-126页。https://doi.org/10.1007/3‐540‐44922‐1_7. ·doi:10.1007/3‐540‐44922‐17 [170] S.Shalev‐Shwartz和S.Ben‐David，《理解机器学习：从理论到算法》，剑桥大学出版社，马萨诸塞州剑桥，2014年·Zbl 1305.68005号 [171] J.Sirignano和K.Spiliopoulos，DGM：求解偏微分方程的深度学习算法，J.Comput。物理375（2018），1339-1364·Zbl 1416.65394号 [172] I.Smears和E.Süli，具有Cordes系数的Hamilton‐Jacobi‐Bellman方程的间断Galerkin有限元近似，SIAM J.Numer。分析52（2014），993-1016·Zbl 1304.65252号 [173] J.M.Steele，《随机演算与金融应用》，第45卷，施普林格科学与商业媒体，2012年。 [174] M.Stein，使用拉丁超立方体采样的模拟大样本特性，技术计量学。《统计物理学杂志》。化学。《工程科学》29（1987），143-151·Zbl 0627.62010号 [175] R.S.Sutton和A.G.Barto，《强化学习：导论》，麻省理工学院出版社，2018年·Zbl 1407.68009号 [176] B.Wang，复杂域中振荡Stokes流的多尺度深度神经网络（MscaleDNN）方法，Commun。计算。《物理学》第28卷（2020年），第2139-2157页·Zbl 1473.35541号 [177] H.Wessels、C.Weißenfels和P.Wriggers，《神经粒子方法——更新的拉格朗日物理学为计算流体动力学的神经网络提供了信息》，计算。方法应用。机械。工程368（2020），113127·Zbl 1506.76136号 [178] J.Yang、G.Zhang和W.Zhao，有界区域中正向随机微分方程的一阶数值格式，J.Compute。数学36（2018），237-258·Zbl 1413.65012号 [179] L.Yang、D.Zhang和G.E.Karniadakis，随机微分方程的物理信息生成对抗网络，SIAM J.Sci。计算42（2020年），A292-A317·Zbl 1440.60065号 [180] D.Yarotsky，深度ReLU网络近似的误差界，神经网络94（2017），103-114·Zbl 1429.68260号 [181] D.Yarotsky，神经网络对不变映射的通用逼近，arXiv:1804.103062018。 [182] J.Yong和X.Y.Zhou，《随机控制：哈密顿系统和HJB方程》，第43卷，Springer科学与商业媒体，1999年·Zbl 0943.93002号 [183] Y.Zhu等人，《无标记数据的高维替代建模和不确定性量化的物理约束深度学习》，J.Compute。《物理学》第394卷（2019年），第56-81页·Zbl 1452.68172号 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。