×
菲利普·格罗斯；阿努尔夫·詹岑；迪约拉·萨利莫娃

基于蒙特卡罗算法的偏微分方程解的深度神经网络近似。 （英语） Zbl 1490.65232号

序号部分差异。埃克。申请。 第3期，第4期，第45号论文，第41页（2022年）.
摘要：在过去几年中，深度人工神经网络（DNN）已成功应用于大量计算问题，包括语言处理、图像识别、欺诈检测和计算广告。最近，科学文献中也提出将高维偏微分方程（PDE）重新定义为随机学习问题，并使用DNN和随机梯度下降方法来近似此类高维PDE的解。科学文献中也有一些数学收敛结果表明，DNN可以近似某些偏微分方程的解，而没有维数诅咒，因为用于描述DNN的实参数的数量在偏微分方程维数（d in mathbb{N}）中最多以多项式形式增长以及规定近似精度的倒数（varepsilon>0）。大多数结果中的一个关键论点是，首先，采用蒙特卡罗近似方案，该方案可以在一个固定的时空点近似考虑的PDE的解，而不会出现维数灾难，然后，从而证明DNN足够灵活，可以模拟所用近似方案的行为。考虑到这一点，我们可以得到一个一般的抽象结果，该结果表明，在适当的假设下，如果某个函数可以用任何类型的（蒙特卡罗）近似方案来近似，而不需要维数诅咒，那么该函数也可以用DNN来近似而不需要维度诅咒。本文的主题是朝着这个方向迈出第一步。特别是，本文的主要结果，大致来说，证明了如果一个函数可以用某种合适的无维数灾的离散近似方案来逼近，并且如果存在满足某些正则性的DNN，并且DNN在无维数灾情况下逼近这个离散近似方案，那么函数本身也可以在没有维数诅咒的情况下用DNN来近似。此外，对于用于描述此类近似DNN的实数参数的数量，我们提供了所考虑函数维数（d\in\mathbb{N}）的最佳指数的显式上界，以及规定近似精度的最佳指数（varepsilon>0）的显式下界。作为这一结果的应用，我们导出了合适的Kolmogorov偏微分方程的解可以用DNN近似，而没有维数灾难。

引用于11文件

MSC公司：

65M99型 偏微分方程、初值和含时初边值问题的数值方法
65二氧化碳 蒙特卡罗方法
68T07型 人工神经网络与深度学习

软件：

ImageNet公司；PDE-网络；DeepFace公司；DGM公司；AlexNet公司
PDF格式BibTeX公司 XML格式引用
\textit{P.Grohs}等人，SN部分差异。埃克。申请。3，第4号，第45号论文，41页（2022年；Zbl 1490.65232）
全文： DOI程序 arXiv公司

参考文献：

[1] 贝克，C。；贝克尔，S。；切里迪托，P。；Jentzen，A。；Neufeld，A.，抛物线偏微分方程的深度分裂方法，SIAM J.Sci。计算。，43、5、A3135-A3154（2021）·Zbl 1501.65054号 ·doi:10.1137/19M1297919
[2] Beck，C.，Becker，S.，Grohs，P.，Jaafari，N.，Jentzen，A.：通过深度学习解决Kolmogorov PDE。科学杂志。计算。88, 3 (2021). （第73号论文）·Zbl 1490.65006号
[3] 贝克，C。；E、 W。；Jentzen，A.，高维完全非线性偏微分方程和二阶倒向随机微分方程的机器学习近似算法，J.非线性科学。，29, 4, 1563-1619 (2019) ·Zbl 1442.91116号 ·doi:10.1007/s00332-018-9525-3
[4] Beck，C.，Hutzenthaler，M.，Jentzen，A.，Kuckuck，B.：偏微分方程基于深度学习的近似方法概述。要求离散Contin进行修订。动态。系统。序列号。B.，arXiv：2012.12348（2020）
[5] Becker，S.、Cheridito，P.、Jentzen，A.：深度最优停车。J.马赫。学习。第20、25号决议（2019年）。（第74号论文）·Zbl 1495.60029号
[6] 贝克尔，S。；切里迪托，P。；Jentzen，A。；Welti，T.，《利用深度学习解决高维最优停车问题》，《欧洲期刊应用》。数学。，32, 3, 470-514 (2021) ·Zbl 1505.91413号 ·doi:10.1017/S0956792521000073
[7] Bellman，R.，《动态编程》（1957），普林斯顿：普林斯顿大学出版社，普林斯顿·Zbl 0077.13605号
[8] Bensoussan，A.，Lions，J.-L.：变分不等式在随机控制中的应用，数学及其应用研究第12卷，第12卷。荷兰出版公司，阿姆斯特丹（1982）·Zbl 0478.49002号
[9] 伯格，J。；Nyström，K.，复杂几何偏微分方程的统一深度人工神经网络方法，神经计算，317，28-41（2018）·doi:10.1016/j.neucom.2018.06.056
[10] 伯纳，J。；Grohs，P。；Jentzen，A.，《泛化误差分析：深度人工神经网络的经验风险最小化克服了Black-Scholes偏微分方程数值逼近中的维数灾难》，SIAM J.Math。数据科学。，2, 3, 631-657 (2020) ·Zbl 1480.60191号 ·doi:10.1137/19M125649X
[11] 陈伟南，Q。；Mikael，J。；Warin，X.，《半线性偏微分方程的机器学习》，J.Sci。计算。，79, 3, 1667-1712 (2019) ·Zbl 1433.68332号 ·doi:10.1007/s10915-019-00908-3
[12] 乔伊赫，A。；Haj、EHIE、Convnets，用于欺诈检测分析，Proc。计算。科学。，127, 133-138 (2018) ·doi:10.1016/j.procs.2018.1.107
[13] Dahl，通用电气；Yu，D。；邓，L。；Acero，A.，用于大范围语音识别的上下文相关预训练深度神经网络，IEEE Trans。音频语音语言处理。，2012年1月20日至42日·doi:10.1109/TASL.2011.2134090
[14] 迪萨纳亚克，MWMG；Phan-Thien，N.，解偏微分方程的基于神经网络的近似，Commun。数字。方法。工程，10，3，195-201（1994）·Zbl 0802.65102号 ·doi:10.1002/cnm.1640100303
[15] Dockhorn，T.：关于使用神经网络求解偏微分方程的讨论。arXiv:1904.07200（2019）
[16] E、 W。；Han，J。；Jentzen，JA，基于深度学习的高维抛物型偏微分方程和倒向随机微分方程数值方法，Commun。数学。Stat.，5，4，349-380（2017）·兹比尔1382.65016 ·doi:10.1007/s40304-017-0117-6
[17] E、 W。；Yu，B.，The deep Ritz method：一种基于深度学习的数值算法，用于求解变分问题，Commun。数学。统计，6，1，1-12（2018）·Zbl 1392.35306号 ·数字对象标识代码：10.1007/s40304-018-0127-z
[18] Elbrächter，D。；Grohs，P。；Jentzen，A。；Schwab，C.，高维PDE的DNN表达率分析：期权定价应用，Constr。约55,3-71（2021年）·Zbl 1500.35009 ·doi:10.1007/s00365-021-09541-6
[19] Farahmand，A.-M.，Nabi，S.，Nikovski，D.：偏微分方程控制的深度强化学习。2017年美国控制会议（ACC），第3120-3127页（2017）
[20] Fujii，M。；高桥，A。；Takahashi，M.，《渐进扩展作为高维BSDEs深度学习方法的先验知识》，亚洲-太平洋。财务。市场，26，3，391-408（2019）·Zbl 1422.91694号 ·doi:10.1007/s10690-019-09271-7
[21] Gonon，L。；Grohs，P。；Jentzen，A。；科夫勒，D。；Šiška，D.，热方程人工神经网络近似的一致误差估计，IMA J.Numer。分析。（2021年）·Zbl 1502.65171号 ·doi:10.1093/imanum/drab027
[22] Goudenège，L.，Molent，A.，Zanette，A.：高维美式期权定价的机器学习。arXiv:1903.11275（2019）·Zbl 1466.91339号
[23] Graves，A.，Mohamed，A.-R.，Hinton，G.：使用深度递归神经网络进行语音识别。摘自：IEEE声学、语音和信号处理会议记录，ICASSP，第6645-6649页（2013）
[24] Grohs，P.，Hornung，F.，Jentzen，A.，von Wursemberger，P.：证明人工神经网络在Black-Scholes偏微分方程的数值逼近中克服了维数灾难。已在内存中接受。美国数学。Soc.arXiv公司：1809.02362（2018）
[25] Grohs，P.，Hornung，F.，Jentzen，A.，Zimmermann，P.：微分方程深度神经网络近似的时空误差估计。高级计算请求的修订。数学。arXiv:1908.03833（2019）
[26] Han，J。；Jentzen，A。；E、 W.，使用深度学习求解高维偏微分方程，Proc。国家。阿卡德。科学。，115, 34, 8505-8510 (2018) ·Zbl 1416.35137号 ·doi:10.1073/pnas.1718942115
[27] Han，J。；Long，J.，耦合FBSDE的深BSDE方法的收敛性，Probab。不确定。数量。风险，5,5（2020年）·Zbl 1454.60105号 ·doi:10.1186/s41546-020-00047-w
[28] Henry-Labordère，P.，《BSDEs的深度原对偶算法：机器学习在CVA和IM中的应用》，SSRN（2017）·doi:10.2139/ssrn.3071506
[29] 辛顿，G。；邓，L。；Yu，D。；Dahl，通用电气；穆罕默德，A-R；北卡罗来纳州贾特利。；高级，A。；Vanhoucke，V。；Nguyen，P。；Sainath，TN，语音识别中声学建模的深度神经网络：四个研究小组的共同观点，IEEE信号处理。Mag.，29，6，82-97（2012）·doi:10.1109/MSP.2012.2205597
[30] Hornung，F.，Jentzen，A.，Salimova，D.：高维偏微分方程的时空深度神经网络近似。arXiv:2006.02199（2020）
[31] Hu，B.，Lu，Z.，Li，H.，Chen，Q.：用于匹配自然语言句子的卷积神经网络架构。摘自：《第27届神经信息处理系统国际会议论文集》，第2卷，第2042-2050页（2014年）
[32] Huang，G.，Liu，Z.，van der Maaten，L.，Weinberger，K.Q.：紧密连接卷积网络。摘自：IEEE计算机视觉和模式识别会议记录，第2261-2269页（2017年）
[33] Huré，C.，Pham，H.，Warin，X.：高维非线性偏微分方程的一些机器学习方案。arXiv:1902.01599（2019）·Zbl 1440.60063号
[34] Hutzenthaler，M。；Jentzen，A。；Kruse，T。；Nguyen，TA，在半线性热方程的数值逼近中，修正深度神经网络克服维数灾难的证明，SN偏微分。埃克。申请。，1, 10, 1-34 (2020) ·Zbl 1455.65200元
[35] Jacquier，A.，Oumgari，M.：粗糙局部随机波动的深度PPDE。arXiv:1906.02551（2019）
[36] Jentzen，A。；Salimova，D。；Welti，T.，深度人工神经网络在具有常数扩散和非线性漂移系数的Kolmogorov偏微分方程的数值逼近中克服维数灾难的证明，Commun。数学。科学。，1167-1205年5月19日（2021）·Zbl 1475.65157号 ·doi:10.4310/CMS.2021.v19.n5.a1
[37] L.Jianyu。；司伟，L。；Q.Yingjian。；Yaping，H.，利用径向基函数神经网络求解椭圆偏微分方程，神经网络。，16, 5, 729-734 (2003) ·doi:10.1016/S0893-6080（03）00083-2
[38] Kalchbrenner，N.，Grefenstette，E.，Blunsom，P.：用于句子建模的卷积神经网络。在：计算语言学协会第52届年会论文集，第655-665页（2014）
[39] Khoo，Y。；卢，J。；Ying，L.，用人工神经网络解决参数PDE问题，欧洲期刊应用。数学。，32, 3, 421-435 (2021) ·Zbl 1501.65154号 ·doi:10.1017/S0956792520000182
[40] Krizhevsky，A。；Sutskever，I。；Hinton，GE，Imagenet分类与深度卷积神经网络，高级神经信息处理。系统。，25, 1097-1105 (2012)
[41] Kutyniok，G。；彼得森，P。；拉斯兰，M。；Schneider，R.，深度神经网络和参数偏微分方程的理论分析，Constr。约5573-125（2022）·Zbl 07493717号 ·doi:10.1007/s00365-021-09551-4
[42] IE拉加里斯；利卡斯，A。；Fotiadis，DI，求解常微分方程和偏微分方程的人工神经网络，IEEE Trans。神经网络。，9, 5, 987-1000 (1998) ·数字对象标识代码：10.1109/72.712178
[43] Long，Z.，Lu，Y.，Ma，X.，Dong，B.：PDE-Net：从数据中学习PDE。摘自：第35届国际机器学习会议记录，第3208-3216页（2018）
[44] 碱液，KO；米什拉，S。；Ray，D.，《计算流体动力学中的深度学习观察》，J.Compute。物理。，410, 26 (2020) ·Zbl 1436.76051号 ·doi:10.1016/j.jcp.2020.109339
[45] Magill，M.，Qureshi，F.，de Haan，H.W.：训练用于求解微分方程的神经网络学习一般表示法。摘自：《神经信息处理系统进展》，第4071-4081页（2018年）
[46] Novak，E.，Woźniakowski，H.：多元问题的可拓性。第一卷：线性信息，EMS数学专题第六卷。欧洲数学学会（EMS），苏黎世（2008）·Zbl 1156.65001号
[47] Novak，E.，Woźniakowski，H.：多元问题的可拓性。第二卷：函数的标准信息，EMS数学教程第12卷。欧洲数学学会（EMS），苏黎世（2010）·Zbl 1241.65025号
[48] Pham，H.，Warin，X.：基于神经网络的完全非线性偏微分方程反向方案。arXiv:1908.00412（2019）·Zbl 07341723号
[49] Raissi，M.：深层隐藏物理模型：非线性偏微分方程的深层学习。J.马赫。学习。决议19，25:1-25:24（2018）·Zbl 1439.68021号
[50] 赖辛格，C。；Zhang，Y.，矫正深度神经网络克服了非线性刚性系统零和对策中非光滑值函数的维数诅咒，Ana。申请。（新加坡），18，6，951-999（2020）·Zbl 1456.82804号 ·doi:10.1142/S0219530520500116
[51] Roy，A.，Sun，J.，Mahoney，R.，Alonzi，L.，Adams，S.，Beling，P.：深度学习检测信用卡交易中的欺诈行为。摘自：2018年系统和信息工程设计研讨会（SIEDS），第129-134页（2018）
[52] Simonyan，K.，Zisserman，A.：用于大规模图像识别的非常深度卷积网络。arXiv:1409.1556（2014）
[53] 西里尼亚诺，J。；Spiliopoulos，K.，DGM：解偏微分方程的深度学习算法，J.Compute。物理。，375, 1339-1364 (2018) ·Zbl 1416.65394号 ·doi:10.1016/j.jcp.2018.08.029
[54] Taigman，Y.、Yang，M.、Ranzato，M.和Wolf，L.：深层次：缩小人脸验证中与人的绩效之间的差距。在：IEEE计算机视觉和模式识别会议，第1701-1708页（2014）
[55] Wang，R.、Fu，B.、Fu、G.、Wang，M.：深度和跨网络广告点击预测。致：ADKDD’17会议记录（2017）
[56] Wang，W.，Yang，J.，Xiao，J.、Li，S.、Zhou，D.：基于深度学习的人脸识别。摘自：《以人为中心的计算》，第812-820页（2015年）
[57] 吴，C。；卡拉纳苏，P。；盖尔斯，MJ；Sim，KC，用于语音识别的受激深层神经网络，Interspeech，2016，400-404（2016）
[58] 翟，S.，Chang，K.-h.，Zhang，R.，Zhang，Z.M.：深层次：利用递归神经网络学习在线广告的注意力。摘自：第22届ACM SIGKDD知识发现和数据挖掘国际会议记录，第1295-1304页（2016）
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。