×
段晨光;焦玉玲;赖燕明;李定伟;吕锡良;杨致坚

深Ritz方法的收敛速度分析。 （英语） Zbl 1491.65117号

Commun公司。计算。物理学。 31，第4期，1020-1048（2022）.
摘要：近年来，利用深度神经网络求解偏微分方程引起了人们的广泛关注。然而，为什么深度学习方法有效，却远远落后于它的经验成功。本文对deep Ritz方法（DRM）进行了严格的数值分析[西-东和B.余、Commun。数学。Stat.6，No.1，1-12（2018年；Zbl 1392.35306号)]具有Neumann边界条件的二阶椭圆方程。利用具有（mathrm{ReLU}^2）激活函数的深网络，我们在（H^1）范数中建立了DRM的第一个非辛收敛速度。除了提供DRM的理论依据外，我们的研究还阐明了如何设置深度和宽度的超参数，以达到所需的训练样本数收敛速度。从技术上讲，我们导出了深度\（\mathrm｛ReLU｝^2）网络在\（C^1\）范数中的近似误差的界，以及梯度范数和\（\mathrm｛ReLU｝^2）网络的非Lipschitz组合的Rademacher复杂度的界，这两者都是独立的。

引用于16文件

MSC公司：

65N12号 含偏微分方程边值问题数值方法的稳定性和收敛性
62G05型 非参数估计
65奈拉 偏微分方程边值问题的误差界
68T07型 人工神经网络与深度学习
第35页第15页 应用于偏微分方程的变分方法
35J15型 二阶椭圆方程
35年25日 二阶椭圆方程的边值问题
35卢比 图和网络（分支或多边形空间）上的PDE
92B20型 生物研究、人工生命和相关主题中的神经网络

关键词：

深里兹法;深度神经网络;收敛速度分析

引文：

Zbl 1392.35306号

软件：

FPIN公司;XPIN编号;深XDE;DGM公司
PDF格式BibTeX公司 XML格式引用
\textit{C.Duan}等人，Commun。计算。物理学。31，第4号，1020--1048（2022；Zbl 1491.65117）
全文： 内政部 arXiv公司

参考文献：

[1] 马丁·安东尼和彼得·巴特利特，《神经网络学习：理论基础》，剑桥大学出版社，2009年。
[2] PETER L.BARTLETT、NICK HARVEY、CHRISTOPHER LIAW和ABBAS MEHRABIAN，分段线性神经网络的紧VC-维数和伪维数界限，J.Mach。学习。决议，20（2019），第1-17页·Zbl 1489.62302号
[3] CHRISTIAN BECK、WEINAN E和ARNULF JENTZEN，高维完全非线性偏微分方程和二阶倒向随机微分方程的机器学习近似算法，《非线性科学杂志》，29（2019），第1563-1619页·Zbl 1442.91116号
[4] STéPHANE BOUCHERON、GáBOR LUGOSI和PASCAL MASSART，《浓度不等式：独立性的非渐近理论》，牛津大学出版社，2013年·Zbl 1279.60005号
[5] 苏珊·布伦纳和里奇韦·斯科特，《有限元方法的数学理论》，第15卷，斯普林格科学与商业媒体，2007年。
[6] 樊晨，黄建国，王春梅，杨海钊，Friedrichs learning:通过深度学习获得偏微分方程的弱解，arXiv预印本arXiv:2012.08023，（2020）。
[7] PHILIPPE G.CIARLET，椭圆问题的有限元方法，SIAM，2002年·Zbl 0999.65129号
[8] CARL DE BOOR和CARL DE BOOR，《样条实用指南》，第27卷，Springer-Verlag，纽约，1978年·Zbl 0406.41003号
[9] A.DEBUSSCHE、M.FUHRMAN和G.TESSITORE，带边界噪声和边界控制的随机热方程的最优控制，ESAIM:控制、优化和变分计算，13（2007），第178-205页·Zbl 1123.60052号
[10] NICCOL DISCACCIATI、JAN S.HESTHAVEN和DEEP RAY，《使用神经网络调节的人工粘度控制高阶非连续Galerkin格式中的振荡》，《计算物理杂志》，409（2020），第109304页·Zbl 1435.65156号
[11] R.M DUDLEY，希尔伯特空间紧子集的大小和高斯过程的连续性，《函数分析杂志》，1（1967），第290-330页·Zbl 0188.20502号
[12] DINH DŨNG和VAN KIEN NGUYEN，高维近似中的稀疏网格采样恢复和深度ReLU神经网络，arXiv预印本arXiv:2007.08729，（2020）。
[13] 劳伦斯·C·埃文斯，偏微分方程，数学研究生课程，19（1998）·Zbl 0902.35002号
[14] IAN GOODFELLOW、JEAN POUGET-ABADIE、MEHDI MIRZA、BING XU、DAVID WARDE-FARLEY、SHERJIL OZAIR、AARON COURVILLE和YOSHUA BENGIO，《生成性对抗网络》，摘自《神经信息处理系统进展》27，Curran Associates，Inc.，2014年，第2672-2680页。
[15] INGO GüHRING、GITTA KUTYNIOK和PHILIPP PETERSEN，深度ReLU神经网络在w s中的近似误差界，p范数，分析与应用，18（2020），第803-859页·Zbl 1452.41009号
[16] T.J.HUGHES，《有限元方法：线性静态和动态有限元分析》，Courier Corporation，2012年。
[17] AMEYA D.JAGTAP和GEORGE EM KARNIADAKIS，《扩展物理信息神经网络（xPINNs）：基于广义时空域分解的非线性偏微分方程深度学习框架》，计算物理通信，28（2020），第2002-2041页·Zbl 07419158号
[18] AMEYA D.JAGTAP、EHSAN KHARAZMI和GEORGE EM KARNIADAKIS，守恒定律离散域上的保守物理信息神经网络：正向和逆向问题的应用，应用力学和工程中的计算机方法，365（2020），第113028页·Zbl 1442.92002号
[19] ISAAC E.LAGARIS、ARISTIDIS LIKAS和DIMITRIOS I.FOTIADIS，求解常微分方程和偏微分方程的人工神经网络，IEEE神经网络汇刊，9（1998），987-10000页。
[20] MICHEL LEDOUX和MICHEL TALAGRAND，Banach空间中的概率：等周法和过程，施普林格科学与商业媒体，2013·Zbl 1226.60003号
[21] HYUK LEE AND IN SEOK KANG，求解微分方程的神经算法，《计算物理杂志》，91（1990），第110-131页·Zbl 0717.65062号
[22] RANDALL J.LEVEQUE，《常微分方程和偏微分方程的有限差分方法：稳态和时间相关问题》，SIAM，2007年·Zbl 1127.65080号
[23] 李波，唐善山，于海军，用带整流功率单元的深度神经网络更好地逼近高维光滑函数，arXiv预印本arXiv:1903.05858，（2019）·Zbl 1474.65031号
[24] 陆建峰，陆玉龙，王敏，解高维椭圆方程的深Ritz方法的先验推广分析，arXiv预印本arXiv:2101.01708，（2021）。
[25] 吕璐、徐慧明、毛志平和乔治·E·卡尼亚达基斯，《DeepXDE:求解微分方程的深度学习库》，CoRR，abs/1907.04502（2019）。
[26] 陶洛和杨海超，偏微分方程的双层神经网络：优化和泛化理论，arXiv预印本arXiv:2006.15733，（2020）。
[27] SIDDHARTHA MISHRA和ROBERTO MOLINARO，关于物理知情神经网络（PINN）用于近似偏微分方程的泛化误差的估计，arXiv预印本arXiv:2006.16144，（2020）。
[28] HADRIEN MONTANELLI和QIANG DU，使用稀疏网格的深层ReLU网络的新误差界，SIAM数据科学数学杂志，1（2019），第78-92页·Zbl 1513.68054号
[29] G.PANG、M.D'ELIA、M.PARKS和G.E.KARNIADAKIS，nPINNs:参数化非局部泛拉普拉斯算子的非局部物理信息神经网络。算法与应用，《计算物理杂志》，422（2020），第109760页·Zbl 07508384号
[30] 彭国伟、吕璐和乔治·EM KARNIADAKIS，《分数物理信息神经网络》，SIAM科学计算杂志，41（2019），第A2603-A2626页·Zbl 1420.35459号
[31] MAZIAR RAISSI、PARIS PERDIKARIS和GEORGE E KARNIADAKIS，《基于物理的神经网络：解决涉及非线性偏微分方程的正问题和逆问题的深度学习框架》，《计算物理杂志》，378（2019），第686-707页·兹比尔1415.68175
[32] 深度射线和JAN S.HESTHAVEN，《人工神经网络作为故障细胞指示器》，《计算物理杂志》，367（2018），第166-191页·Zbl 1415.65229号
[33] JOHANNES SCHMIDT-HIEBER，流形上函数的Deep ReLU网络逼近，arXiv预印本arXiv:1908.00695，（2019）。
[34] LARRY SCHUMAKER，《样条函数：基本理论》，剑桥大学出版社，2007年·Zbl 1123.41008号
[35] 沈卓伟，杨海钊，张世军，以神经元数量为特征的深网络近似，arXiv预印本arXiv:1906.05497，（2019）·Zbl 1475.41013号
[36] YEONJONG SHIN、JEROM DARBON和GEORGE EM KARNIADAKIS，《关于物理信息神经网络的收敛和泛化》，arXiv预印本arXiv:2004.01806，（2020）·Zbl 1473.65349号
[37] YEONJONG SHIN，ZHONGQIANG ZHANG，AND GEORGE EM KARNIADAKIS，使用神经网络对线性偏微分方程进行残差最小化的误差估计，arXiv预印本arXiv:2010.08019，（2020）。
[38] JONATHAN W SIEGEL和JINCHAO XU，具有一般激活函数的神经网络的近似速率，《神经网络》，128（2020），第313-321页·Zbl 1480.41007号
[39] JUSTIN A.SIRIGNANO和K.SPILIOPOULOS，DGM：解偏微分方程的深度学习算法，《计算物理杂志》，375（2018），第1339-1364页·Zbl 1416.65394号
[40] CHARLES J STONE，非参数回归的最优全局收敛速度，《统计年鉴》（1982），第1040-1053页·Zbl 0511.62048号
[41] 孙郑，王淑怡，张立斌，邢玉龙，萧东斌，用于守恒定律数值解的卷积神经网络激波检测器，计算物理通信，28（2020），第2075-2108页·Zbl 1528.65092号
[42] TAIJI SUZUKI，深度ReLU网络在Besov和混合光滑Besov空间中学习的适应性：最优速率和维数诅咒，arXiv预印本arXiv:1810.08033，（2018）。
[43] J.W.THOMAS，《数值偏微分方程：有限差分方法》，第22卷，施普林格科学与商业媒体，2013年。
[44] AAD W.VAN DER VAART和JON A.WELLNER，弱收敛，在弱收敛和经验过程中，施普林格，1996·Zbl 0862.60002号
[45] VLADIMIR N VAPNIK和A YA CHERVONENKIS，《关于事件的相对频率与其概率的一致收敛》，《复杂性度量》，施普林格，2015，第11-30页·Zbl 1337.60009号
[46] 王玉飞，沈子菊，龙子超，董斌，《学习离散化：通过深度强化学习求解一维标量守恒律》，计算物理通信，28（2020），第2158-2179页·Zbl 1473.65124号
[47] E.WEINAN和TING YU，The deep Ritz method:A deep learning based numerical algorithm for solving problems，《数学与统计通信》，6（2017），第1-12页·Zbl 1392.35306号
[48] 徐金超，有限神经元方法与收敛性分析，arXiv预印本arXiv:2010.01458，（2020）·Zbl 1473.65350号
[49] DMITRY YAROTSKY，深度ReLU网络近似的误差界，神经网络，94（2017），第103-114页·兹比尔1429.68260
[50] 臧耀华，冈宝，叶小静，周浩民，高维偏微分方程的弱对抗网络，计算物理杂志，411（2020），第109409页·Zbl 1436.65156号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。