×
卢卡斯赫尔曼；Joost A.A.Opschoor。；克里斯托夫·施瓦布

构造性深度ReLU神经网络近似。 （英语） Zbl 1500.41002号

科学杂志。计算。 90，第2号，第75号论文，37页（2022年）.
总结：我们建议，构造指数收敛深度神经网络（DNN）逼近的确定性算法多元分析图\（f:[-1,1]^K\rightarrow\mathbb{R}\）。我们使用校正线性单元（ReLU）激活函数来处理特定的网络。类似的结果和证明适用于许多其他流行的激活函数。该算法基于在具有小勒贝格常数的确定网格点族中配置（f），并通过使用DNN对光谱基进行先验（即“离线”）仿真以达到规定的保真度。假设（[-1,1]^K）中的（f）的可能损坏的数值近似值（breve{f}）和（Vert f-breve}\Vert_{L^ infty（{[1,1]^K}）}上的界的可用性，我们提供了一个ReLU DNN的显式计算构造，该DNN可以达到精度（varepsilon）（取决于（N\）和\（\Vertf-\breve{f}\Vert_{L^\infty（{[-1,1]^K}）}）一致地，相对于输入。对于解析映射（f:[-1,1]^K\rightarrow\mathbb{R}），我们证明了表达式的指数收敛性与推广误差已构建的ReLU DNN。具体地说，对于每一个目标精度（（0,1）中的varepsilon），也存在依赖于（f）的（N），使得作为范数（L^ infty（[-1,1]^K；mathbb{R}）中输入的（breve{f}）的计算的构造算法的误差小于（varepsilen），直到加性数据损坏界限（Vert f-breve{f}）\Vert_{L^\infty（{[-1,1]^K}）}\）乘以一个因子，该因子与\（1/\varepsilon\）缓慢增长，非零DNN权重的数量相对于\（1/\ varepsilen\）呈对数增长。将实现近似的ReLU DNN的算法构造，根据张量Clenshaw-Curtis网格（[-1,1]^K）中的函数值（breve{f}）是显式的和确定性的。我们通过贝叶斯PDE反演中的后验期望（离线）计算的构造性算法来说明所提出的方法。

引用于2文件

MSC公司：

41A10号 多项式逼近
41A50型 最佳逼近，切比雪夫系统
65D05型 数值插值
65日第15天 函数逼近算法
68T07型 人工神经网络与深度学习

关键词：

深层ReLU神经网络；指数收敛；神经网络构造；泛化误差

软件：

DeepONet（深度网络）
PDF格式BibTeX公司 XML格式引用
\textit{L.Herrmann}等人，《科学杂志》。计算。90，第2号，第75号论文，37页（2022；Zbl 1500.41002）
全文： 内政部

参考文献：

[1] 阿德科克，B。；Dexter，N.，《深度神经网络函数逼近理论与实践之间的差距》，SIAM J.Math。数据科学。，3, 2, 624-655 (2021) ·Zbl 1483.65028号 ·数字对象标识码：10.1137/20M13109X
[2] Arridge，S。；Maass，P。；O.Øktem。；Schönlieb，C-B，《使用数据驱动模型解决反问题》，《数值学报》。，28, 1-174 (2019) ·Zbl 1429.65116号 ·doi:10.1017/S096249291900059
[3] Bölcskei，H。；Grohs，P。；Kutyniok，G。；Petersen，P.，稀疏连接深度神经网络的最优逼近，SIAM J.数学。数据科学。，1, 1, 8-45 (2019) ·Zbl 1499.41029号 ·doi:10.1137/18M118709X
[4] Boullé，N.，Nakatsukasa，Y.，Townsend，A.：理性神经网络。发表于：第34届神经信息处理系统会议（NeurIPS 2020），加拿大温哥华（2020）
[5] 切里迪托，P。；詹岑，A。；Rossmannek，F.，深度神经网络训练中随机梯度下降的非收敛性，J.Complex。，64, 101540 (2021) ·Zbl 1494.65044号 ·doi:10.1016/j.jco.2020.101540
[6] 科恩，A。；施瓦布，C。；Zech，J.，稳态Navier-Stokes方程的形状全形，SIAM J.数学。分析。，1720-1752年2月50日（2018年）·Zbl 1390.35227号 ·doi:10.1137/16M1099406
[7] Dashti，M。；Stuart，AM，《反问题的贝叶斯方法》，《不确定性量化手册》，311-428（2017），查姆：斯普林格，查姆·doi:10.1007/978-3-319-12385-17
[8] Daws，J.，Webster，C.：用拟最优多项式逼近率分析深层神经网络，（2019）。ArXiv公司：1912.02302
[9] Dick，J。；甘特纳，注册护士；Gia，QTL；Schwab，C.，多层高阶拟蒙特卡罗贝叶斯估计，数学。模型方法应用。科学。，27, 5, 953-995 (2017) ·Zbl 1375.65169号 ·doi:10.1142/S021820251750021X
[10] Dick，J。；甘特纳，注册护士；Gia，QTL；Schwab，C.，贝叶斯PDE反演的高阶拟蒙特卡罗积分，计算。数学。申请。，77, 1, 144-172 (2019) ·Zbl 1442.62051号 ·doi:10.1016/j.camwa.2018.09.019
[11] Dũng，D。；Nguyen，VK，Deep ReLU高维近似神经网络，神经网络。，142, 619-635 (2021) ·Zbl 07743508号 ·doi:10.1016/j.neunet.2021.07.027
[12] E、 W.，Wang，Q.：解析函数深度神经网络近似的指数收敛性。科学。中国数学。61(10), 1733-1740 (2018) ·Zbl 1475.65007号
[13] 埃利希，H。；Zeller，K.，Auswertung der Normen von Interpolationoperatoren，数学。安，164105-112（1966）·Zbl 0136.04604号 ·doi:10.1007/BF01429047
[14] Elbrächter，D.，Grohs，P.，Jentzen，A.，Schwab，C.：高维PDE的DNN表达率分析：应用于期权定价。构造近似。2021年5月6日在线发布
[15] 加伊·M·。；Glau，K。；Mahlstedt，M。；Mair，M.，参数期权定价的切比雪夫插值，《金融研究》。，22, 3, 701-731 (2018) ·兹比尔1402.91782 ·doi:10.1007/s00780-018-0361-y
[16] Grohs，P.，Voigtlaender，F.：通过神经网络近似空间的采样复杂性界限证明深度学习中的理论与实践差距。技术报告，（2021）。ArXiv公司：2104.02746
[17] Henríquez，F。；Schwab，C.，《拉普拉斯投影的Calderón投影的形状全形》，（{\mathbb{R}}^2），积分Equ。操作。理论，93，4，43（2021）·Zbl 1472.45011号 ·doi:10.1007/s00020-021-02653-5
[18] Herrmann，L。；施瓦布，C。；Zech，J.，贝叶斯偏微分方程反演中后验期望的深度神经网络表达，逆问题。，36, 12, 125011 (2020) ·Zbl 1453.35191号 ·doi:10.1088/1361-6420/abaf64
[19] Herrmann，L.，Schwab，Ch.：对流-扩散反应的多级准蒙特卡罗不确定性量化。摘自：蒙特卡罗和准蒙特卡罗方法，Springer Proc第324卷。数学。统计，第31-67页。查姆斯普林格（2020）·Zbl 07240088号
[20] 侯赛尼，B。；Nigam，N.，《贝叶斯反问题：指数尾先验》，SIAM/ASA J.《不确定性》。数量。，5, 1, 436-465 (2017) ·兹比尔1371.35349 ·doi:10.1137/16M1076824
[21] Jerez-Hanckes，C。；施瓦布，C。；Zech，J.，随机表面的电磁波散射：形状全形，数学。国防部。方法。申请。科学。，27, 12, 2229-2259 (2017) ·Zbl 1381.35170号 ·doi:10.1142/S0218202517500439
[22] 李，B。；唐，S。；Yu，H.，用带整流功率单元的深度神经网络更好地逼近高维光滑函数，Commun。计算。物理。，27, 2, 379-411 (2019) ·兹比尔1474.65031 ·doi:10.4208/cicp。OA-2019-0168
[23] Liang，S.，Srikant，R.：为什么用深层神经网络进行函数逼近？In：程序。2017年ICLR，第1-17页，（2017）。ArXiv:1610.04161型
[24] Lu，L.，Jin，P.，Karniadakis，G.E.：DeepONet：学习非线性算子以根据算子的普遍逼近定理识别微分方程，（2020）。arXiv:1910.03193
[25] 碱液，KO；米什拉，S。；Ray，D.，《计算流体动力学中的深度学习观察》，J.Compute。物理。，410109339（2020）·Zbl 1436.76051号 ·doi:10.1016/j.jcp.2020.109339
[26] Mhaskar，HN，多层前馈人工神经网络的近似特性，高级计算。数学。，1, 1, 61-80 (1993) ·Zbl 0824.41011号 ·doi:10.1007/BF02070821
[27] Mhaskar，HN，光滑函数和解析函数最佳逼近的神经网络，神经计算。，8, 1, 164-177 (1996) ·doi:10.1162/neco.1996.8.1.164
[28] Opschoor，J.A.A.：准备中。202x苏黎世理工学院博士论文
[29] JAA Opschoor；彼得森，PC；Schwab，C.，Deep ReLU网络和高阶有限元方法，分析。申请。，18, 5, 715-770 (2020) ·Zbl 1452.65354号 ·doi:10.1142/S0219530519410136
[30] Opschoor，J.A.A.，Schwab，C.，Zech，J.：高维全纯映射的指数ReLU DNN表达。构造近似。在线发布日期：2021年4月23日
[31] 彼得森，P。；Voigtlaender，F.，使用深度ReLU神经网络的分段光滑函数的最佳逼近，神经网络。，108, 296-330 (2018) ·Zbl 1434.68516号 ·doi:10.1016/j.neunet.2018.08.019
[32] 莱斯，M。；佩迪卡里斯，P。；Karniadakis，GE，Physics-informated neural networks:用于解决涉及非线性偏微分方程的正向和反向问题的深度学习框架，J.Compute。物理。，378, 686-707 (2019) ·Zbl 1415.68175号 ·doi:10.1016/j.jp.2018.10.045
[33] 里夫林，TJ，《切比雪夫多项式》（The Chebyshev Polynomials，1974），《纽约-朗登-悉尼：威利国际科学》（New York-London-Syndey:Wiley-Interscience）[John Wiley&Sons]，纽约-朗登-悉尼·Zbl 0299.41015号
[34] Rolnick，D.，Tegmark，M.：深层网络表达自然功能的力量。在：国际学习代表大会，（2018）
[35] 施瓦布，C。；Zech，J.，《高维深度学习：UQ中广义多项式混沌展开的神经网络表达率》，Ana。申请。新加坡。，17, 1, 19-55 (2019) ·Zbl 1478.68309号 ·doi:10.1142/S0219530518500203
[36] Tang，S.，Li，B.，Yu，H.：ChebNet：使用切比雪夫近似，利用整流功率单元高效稳定地构建深度神经网络。2019年技术报告。ArXiv公司：1911.05467
[37] Trefethen，LN，近似理论和近似实践（2019），费城：工业和应用数学学会，费城·doi:10.1137/1.9781611975949
[38] Yang，L。；孟，X。；Karniadakis，GE，B-PINNs:带噪声数据的正向和反向PDE问题的贝叶斯物理信息神经网络，J.Compute。物理。，425, 109913 (2021) ·Zbl 07508507号 ·doi:10.1016/j.jcp.2020.109913
[39] Yarotsky，D.，深度ReLU网络近似的误差界，神经网络。，94103-114（2017）·Zbl 1429.68260号 ·doi:10.1016/j.欧洲网.2017.07.002
[40] Zech，J。；Schwab，C.，高维Smolyak求积的收敛速度，ESAIM数学。模型。数字。分析。，54, 4, 1259-1307 (2020) ·Zbl 07240638号 ·doi:10.1051/m2安/2020003
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。