×
陈恒杰;Li，钟

关于一个主函数在深度神经网络中的应用的注记。 （英语） Zbl 1517.41006号

国际小波多分辨率。信息处理。 20，第4号，文章ID 2150058，18 p.（2022）.
摘要：应用基本数学知识，证明了函数（y=x^m\）（m\）是一个不小于2的整数，（x\ in[0,1]\）具有如下性质：（[0,1]\]上任意两个相邻等距分布节点的中点函数值之差当且仅当（m=2）时，这两个节点的函数值的平均值是一个常数，仅取决于节点数。由此，我们建立了关于深度神经网络的一个重要结果，即函数\（y=x^2），\（x\in[0,1]\）可以由深度为\（n+1\）的深度整流线性单元（ReLU）网络在区间\（[0,1]\）中的等距分布节点上插值，近似误差为\（2^{-（2n+2）}\）。然后，基于刚刚证明的主要结果和切比雪夫正交多项式，我们构造了一个深网络，并分别给出了多项式和连续函数逼近的误差估计。此外，本文构造了一个具有局部稀疏连接、共享权重和激活函数（y=x^2）的深度网络，并讨论了其密度和复杂性。

理学硕士：

41A30型 其他特殊函数类的近似
41A25型 收敛速度，近似度
68T07型 人工神经网络与深度学习
82立方32 神经网络在含时统计力学问题中的应用
92B20型 生物研究、人工生命和相关主题中的神经网络

关键词：

深层ReLU网络;插值;近似;连续性模数

软件：

图像网络;GNMT公司;AlexNet公司
PDF格式BibTeX公司 XML格式引用
\textit{H.Chen}和\textit{Z.Li}，国际小波多分辨率。信息处理。20，第4号，文章ID 2150058，18 p.（2022；Zbl 1517.41006）
全文： 内政部

参考文献：

[1] Anastasiou，G.A.，单变量σ型神经网络近似，J.Compute。分析。申请14（4）（2012）659-690·Zbl 1259.41018号
[2] Barron，A.R.，σ函数叠加的通用近似界，IEEE Trans。通知。Theory39（4）（1993）930-945·Zbl 0818.68126号
[3] Bungartz，H.J.和Griebel，M.，《稀疏网格》，《数值学报》13（2004）147-269·Zbl 1118.65388号
[4] Cao，F.，Xie，T.和Xu，Z.B.，《神经网络近似误差的估计：构造性方法》，《神经计算》71（2008）626-630。
[5] Chen，D.B.，通过S形函数叠加的近似度，近似理论应用9（1993）17-28·Zbl 0784.41011号
[6] Chen，Z.和Cao，F.，带S形函数的近似算子，计算。数学。申请58（4）（2009）758-765·Zbl 1189.41014号
[7] Chen，T.P.和Chen，H.，径向基函数神经网络对多变量函数、非线性泛函和算子的逼近能力，IEEE Trans。神经网络6（4）（1995）904-910。
[8] Chen，T.P.和Chen，H.，用具有任意激活函数的神经网络对非线性算子的通用逼近及其在动态系统中的应用，IEEE Trans。神经网络6（4）（1995）911-917。
[9] Chen，L.和Wu，C.W.，关于深层ReLU网络在高维空间中的表达能力的注释，数学。方法应用。《科学》第42（9）（2019）3400-3404页·Zbl 1416.41018号
[10] 切尼，E.W.，《近似理论导论》，第2版。（切尔西，纽约，1982年）·Zbl 0535.41001号
[11] Chui，C.K.和Li，X.，具有一个隐藏层的脊函数和神经网络的近似，J.近似理论70（2）（1992）131-141·Zbl 0768.41018号
[12] Cohen，N.、Sharir，O.和Shashua，A.，《深度学习的表达能力：张量分析》，摘自Proc。第29届Conf.学习理论，第49卷（Springer，2016），第698-728页。
[13] Costarelli，D.，由斜坡函数激活的神经网络算子插值，J.Math。分析。申请419（1）（2014）574-582·兹比尔1298.41037
[14] Costarelli，D.，《神经网络算子：多元函数的构造插值》，《神经网》67（2015）28-36·Zbl 1396.41019号
[15] Cybenko，G.，通过S形函数叠加进行逼近，数学。控制信号系统2（4）（1989）303-314·Zbl 0679.94019号
[16] I.Daubechies、R.Devore、S.Foucart、B.Hanin和G.Petrova，《非线性近似和（深层）ReLU网络》，构建。近似值，doi:10.1007/s00365-021-09548-z·Zbl 1501.41003号
[17] Eldan，R.和Shamir，O.，前馈神经网络的深度能力，收录于Proc。第29届Conf.学习理论（COLT）（Springer，2016），第907-940页。
[18] Funahashi，K.I.，《利用神经网络近似实现连续映射》，《神经网络》2（3）（1989）183-192。
[19] Goodfellow，I.、Bengio，Y.和Courville，A.，《深度学习》（麻省理工学院出版社，剑桥，2016）·Zbl 1373.68009号
[20] Krizhevsky，A.、Sutskever，I.和Hinton，G.，深度卷积神经网络的Imagenet分类，《神经信息处理系统进展》（Curran Associates，Inc.，2012），第1097-1105页。
[21] Kuková，V.，用有界隐单元数的感知器网络逼近函数，《神经网络》8（5）（1995）745-750。
[22] Langer，S.，用带Sigmoid激活函数的深度神经网络逼近光滑函数，J.Multivar。分析182（2021），https://doi.org/10.1016/j.jmva.2020.104696。 ·Zbl 1456.41005号
[23] LeCun，Y.、Bengio，Y.和Hinton，G.，《深度学习》，《自然》521（2015）436-444。
[24] Lorentz，G.G.，《函数逼近》（Holt，Rinehart和Winston，1966）·Zbl 0153.38901号
[25] Lu，Z.，Pu，H.M.，Wang，F.C.，Hu，Z.Q.和Wang，L.W.，《神经网络的表达能力：从宽度看》，载于《神经信息处理系统的进展》（Curran Associates，Inc.，2017），第6232-6240页。
[26] Mhaskar，H.N.和Michelli，C.A.，单隐层神经网络和翻译网络的近似度，高级应用。数学16（2）（1995）151-183·Zbl 0885.42012号
[27] Montanelli，H.和Du，Q.，使用稀疏网格的ReLU深度网络的新误差界，SIAM J.Math。数据科学1（2019）78-92·Zbl 1513.68054号
[28] H.Montanellia，H.Z.Yang和Q.Du，Deep ReLU网络克服了带限函数的维数灾难，J.Compute。数学，doi:10.13140/RG.2。2.27349.27363. ·Zbl 1504.41041号
[29] Pinkus，A.，《神经网络中MLP模型的近似理论》，《数值学报》8（1999）143-195·Zbl 0959.68109号
[30] Shaham，U.，Cloninger，A.和Coifman，R.，深度神经网络的可证明近似性质，应用。计算。哈蒙。分析44（3）（2018）537-557·Zbl 1390.68553号
[31] Weinan，E.和Wang，Q.C.，解析函数深度神经网络逼近的指数收敛性，科学。中国数学61（10）（2018）1733-1740·Zbl 1475.65007号
[32] Y.Wu，M.Schuster，Z.Chen，Q.Le，M.Norouzi，W.Macherey，M.Krikun，Y.Cao，Q.Gao，K.Macherey等人，谷歌的神经机器翻译系统：弥合人与机器翻译之间的差距，预印本（2016），arXiv:1609.08144。
[33] Xie，T.F.和Cao，F.L.，多项式的岭函数表示及其在神经网络中的应用，《数学学报》。罪。（英语丛书）27（2011）2169-2176·Zbl 1229.41034号
[34] Yarotsky，D.，深度ReLU网络近似的误差界，神经网络94（2017）103-114·兹比尔1429.68260
[35] 周大新，深度卷积神经网络的普遍性，应用。计算。哈蒙。分析48（2020）787-794·Zbl 1434.68531号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。