×
乔纳斯·巴根斯托斯;迪约拉·萨利莫娃

Kolmogorov偏微分方程残差神经网络的逼近性质。 （英语） Zbl 1518.65018号

离散连续。动态。系统。，序列号。B 28，第5期，3193-3215（2023）.
摘要：近年来，残差神经网络（ResNets）由K.何等【“图像识别的深度剩余学习”，载于：2016年IEEE计算机视觉和模式识别会议论文集，CVPR 2017。加利福尼亚州洛斯·阿拉米托斯：IEEE计算机协会。770–778 (2016;doi:10.1109/CVPR.2016.90)]已经在许多应用中变得非常流行，包括在图像分类和分割中。它们为训练深度很深的神经网络提供了一个新的视角，而不会遇到消失梯度问题。在本文中，我们证明了ResNets能够逼近具有常数扩散和可能非线性漂移系数的Kolmogorov偏微分方程（PDEs）的解，而不会遭受维数灾难，也就是说，近似ResNets的参数数量最多是以近似精度（varepsilon>0）和所考虑PDE维数（d in mathbb{N}）的倒数的多项式形式增长的。我们将证据改编为A.詹森等【公共数学科学19，第5期，1167-1205（2021；兹比尔1475.65157)]-他对前馈神经网络（FNN）显示了与ResNets相似的结果。与FNN相比，ResNets的Euler-Maruyama近似结构大大简化了近似ResNets构造。此外，与[Jentzen等人，loc.cit.]相反，在我们使用ResNets的证明中，不需要存在代表身份映射的FNN，这扩大了适用的激活函数集。

引用于1文件

MSC公司：

65C99个 概率方法，随机微分方程
65米75 涉及偏微分方程的初值和初边值问题的概率方法、粒子方法等
68T07型 人工神经网络与深度学习

关键词：

剩余神经网络;科尔莫戈罗夫PDE;ResNets公司;Euler-Maruyama近似;费曼-卡克公式

引文：

Zbl 1475.65157号

软件：

开胃-v4
PDF格式BibTeX公司 XML格式引用
\textit{J.Baggenstos}和\textit{D.Salimova}，离散Contin。动态。系统。，序列号。B 28，编号5，3193--3215（2023；Zbl 1518.65018）
全文： 内政部 arXiv公司

参考文献：

[1] M.M.K.Asaduzzaman Shahjahan Murase，前馈神经网络激活函数融合快速训练，国际神经系统杂志。，19, 437-448 (2009) ·doi:10.1142/S0129065709002130
[2] B.K.Avelin Nyström，神经ODE作为具有恒定权重的ResNets的深度极限，Anal。申请。，19, 397-437 (2021) ·Zbl 07362267号 ·doi:10.1142/S0219530520400023
[3] C.Beck、S.Becker、P.Grohs、N.Jaafari和A.Jentzen，通过深度学习解决Kolmogorov PDE，科学杂志。计算。，88（2021），论文编号73，第28页·Zbl 1490.65006号
[4] C.W.A.Beck E.Jentzen，高维全非线性偏微分方程和二阶倒向随机微分方程的机器学习近似算法，非线性科学杂志。，29, 1563-1619 (2019) ·Zbl 1442.91116号 ·doi:10.1007/s00332-018-9525-3
[5] W.E，C.Ma和Q.Wang，剩余网络人口风险的先验估计，arXiv:1903.021542019，19页。
[6] W.B.E.Yu，The deep Ritz method：一种基于深度学习的数值算法，用于求解变分问题，Commun。数学。《法律总汇》，6，1-12（2018）·Zbl 1392.35306号 ·数字对象标识代码：10.1007/s40304-018-0127-z
[7] D.P.A.C.Elbrächter Grohs-Jentzen-Schwab，高维PDE的DNN表达率分析：期权定价应用，Constr。约55,3-71（2022年）·Zbl 1500.35009 ·doi:10.1007/s00365-021-09541-6
[8] R.G.M.F.Gribonval Kutyniok Nielsen Voigtlaender，深度神经网络的近似空间，Constr。约55259-367（2022）·Zbl 1491.82017年 ·doi:10.1007/s00365-021-09543-4
[9] P.L.Grohs-Herrmann，带边界条件的高维椭圆偏微分方程的深度神经网络近似，IMA J.Numer。分析。，42, 2055-2082 (2022) ·Zbl 1502.65264号 ·doi:10.1093/imanum/drab031
[10] P.Grohs，F.Hornung，A.Jentzen和P.von Wurstemberger，人工神经网络在Black-Scholes偏微分方程的数值近似中克服维数诅咒的证明，已在内存中接受。阿米尔。数学。Soc公司。，arXiv:1809.02362（2018），124页。
[11] P.Grohs、F.Hornung、A.Jentzen和P.Zimmermann，微分方程深度神经网络近似的时空误差估计，高级计算请求的修订。数学。，arXiv:1908.03833，（2019），86页。
[12] P.Grohs、A.Jentzen和D.Salimova，基于蒙特卡罗算法的偏微分方程解的深度神经网络近似，部分差异。埃克。申请。，3（2022），第45号论文，第41页·Zbl 1490.65232号
[13] I.M.M.A.Gruber HlaváćelezníKarpov，使用ResNet面对人脸识别：第一轮，交互式协作机器人技术，10459，67-74（2017）·doi:10.1007/978-3-319-66471-28
[14] M.M.A.Hairer Hutzenthaler Jentzen，Kolmogorov方程的正则性损失，Ann.Probab。，43, 468-527 (2015) ·Zbl 1322.35083号 ·doi:10.1214/13-AOP838
[15] J.A.W.Han Jentzen E.，使用深度学习求解高维偏微分方程，Proc。国家。阿卡德。科学。美国，1158505-8510（2018）·Zbl 1416.35137号 ·doi:10.1073/pnas.1718942115
[16] 何凯、张旭、任志军和孙建中，《深入研究整流器：在图像网络分类方面超越人类水平的表现》IEEE国际计算机视觉会议论文集，(2015), 1026-1034.
[17] 何凯、张旭、任三生、孙建军，图像识别的深度残差学习，InIEEE计算机视觉和模式识别会议记录，(2016), 770-778.
[18] 何凯，张晓霞，任松生，孙振中，深度剩余网络中的同一映射，in欧洲计算机视觉会议，(2016), 630-645.
[19] F.Hornung、A.Jentzen和D.Salimova，高维偏微分方程的时空深度神经网络近似，arXiv:2006.02199，（2020），52页。
[20] A.D.T.Jentzen Salimova Welti，深度人工神经网络在具有常数扩散和非线性漂移系数的Kolmogorov偏微分方程的数值逼近中克服维数灾难的证明，Commun。数学。科学。，19, 1167-1205 (2021) ·Zbl 1475.65157号 ·doi:10.4310/CMS.2021.v19.n5.a1
[21] A.Kolmogoroff，《Wahrscheinlichkeitsrechnung的分析方法》，数学。安，104，415-458（1931）·兹比尔0001.14902 ·doi:10.1007/BF01457949
[22] N.V.Krylov、M.Röckner和J.Zabczyk，无穷维随机PDE方程和Kolmogorov方程，第1715卷，共页数学课堂笔记柏林斯普林格·弗拉格；1999年，佛罗伦萨国际马特马蒂科·埃斯蒂沃中心（C.I.M.E.）·Zbl 0927.00037号
[23] G.P.M.R.Kutyniok Petersen Raslan Schneider，深度神经网络和参数PDE的理论分析，Constr。约5573-125（2022）·Zbl 07493717号 ·doi:10.1007/s00365-021-09551-4
[24] 穆勒，《论ResNets的时空表现力》，英ICLR 2020深度神经模型和微分方程集成研讨会，(2020).
[25] E.Orhan和X.Pitkow，跳过连接消除奇点，In学习代表国际会议，(2018).
[26] P.K.S.D.R.Panigrahi Ghosh Parhi，使用不同小波神经网络激活函数的自主移动机器人导航，Arch。控制科学。，25, 21-34 (2015) ·Zbl 1446.93059号 ·doi:10.1515/acsc-2015-0002
[27] P.F.Petersen Voigtlaender，使用深度ReLU神经网络的分段光滑函数的最佳逼近，神经网络，108，296-330（2018）·兹伯利1434.68516
[28] T·K·D·秦武秀，使用深度神经网络的数据驱动控制方程近似，J.Compute。物理。，395, 620-635 (2019) ·Zbl 1455.65125号 ·doi:10.1016/j.jcp.2019.06.042
[29] P.Ramachandran、B.Zoph和Q.V.Le，《搜索激活函数》，arXiv:1710.05941，（2017），13页。
[30] C.Szegedy，S.Ioffe，V.Vanhoucke和A.A.Alemi，Inception-v4，初始资源网络和剩余连接对学习的影响，In第三十一届AAAI人工智能会议记录，（2017），AAAI'17，AAAI出版社，4278-4284。
[31] Y.Y.X.王立松荣，激活函数对人脸表情识别卷积神经网络模型的影响，应用。科学。，10, 1897 (2020)
[32] Z.C.A.Wu Shen van den Hengel，更广或更深：重新审视视觉识别的ResNet模型，模式识别，90，119-133（2019）
[33] K.M.T.X.X.L.T.Zhang Sun Han Yuan Guo Liu，剩余网络的剩余网络：多级剩余网络，IEEE视频技术电路和系统汇刊，281303-1314（2017）
此参考列表基于出版商或数字数学图书馆提供的信息。它的项目与zbMATH标识符启发式匹配，并且可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。