×
周定轩

深度卷积神经网络的普遍性。 （英语） Zbl 1434.68531号

申请。计算。哈蒙。分析。 48，第2期，787-794（2020年）.
摘要：深度学习在语音识别、计算机视觉等许多领域得到了广泛应用并取得了突破。深度神经网络结构和计算问题在机器学习中得到了很好的研究。但对于由深度卷积神经网络等网络结构生成的深度学习方法的逼近或泛化能力，缺乏理论基础。这里我们证明了深度卷积神经网络（CNN）是通用的，这意味着当神经网络的深度足够大时，它可以用来将任何连续函数近似到任意精度。这回答了学习理论中的一个悬而未决的问题。我们的定量估计严格按照要计算的自由参数的数量给出，验证了深层CNN处理大维数据的效率。我们的研究还证明了卷积在深层CNN中的作用。

引用于74文件

MSC公司：

68T07型 人工神经网络与深度学习

关键词：

深度学习;卷积神经网络;普遍性;近似理论

软件：

AlexNet公司;ImageNet公司;达奇
PDF格式BibTeX公司 XML格式引用
\textit{D.-X.Zhou}，应用程序。计算。哈蒙。分析。48，第2号，787--794（2020；Zbl 1434.68531）
全文： 内政部 arXiv公司

参考文献：

[1] Barron，A.，σ函数叠加的通用近似界，IEEE Trans。通知。理论，39，930-945（1993）·Zbl 0818.68126号
[2] Bölcskei，H。；Grohs，P。；Kutyniok，G。；Petersen，P.，稀疏连接深度神经网络的最佳逼近，SIAM J.Math。数据科学。，1, 8-45 (2019) ·Zbl 1499.41029号
[3] 布鲁纳，J。；Mallat，S.，不变散射卷积网络，IEEE Trans。模式分析。机器。智力。，35, 1872-1886 (2013)
[4] Chui，C。；李，X。；Mhaskar，H.，具有一个隐藏层的神经网络近似能力的限制，高级计算。数学。，5, 233-243 (1996) ·Zbl 0855.41026号
[5] Cybenko，G.，通过S形函数叠加进行逼近，数学。控制信号系统，2303-314（1989）·兹伯利0679.94019
[6] Daubechies，I.，《小波十讲》（1992年），SIAM·Zbl 0776.42018号
[7] Eldan，R。；Shamir，O.，前馈神经网络的深度能力，（COLT（2016）），907-940
[8] 范，J。；胡，T。；吴，Q。；周，D.，经验最小误差熵算法的一致性分析，应用。计算。哈蒙。分析。，41, 164-189 (2016) ·Zbl 1382.94034号
[9] 古德费罗，I。；Y.本吉奥。；A.Courville，《深度学习》（2016），麻省理工学院出版社·兹比尔1373.68009
[10] 郭，Z。；Lin，S。；周德兴，分布式谱算法学习理论，逆问题。，33，第074009条，pp.（2017），29 pp·Zbl 1372.65162号
[11] 辛顿，G。；Osindero，S。；Teh，Y.，深度信念网络的快速学习算法，神经计算。，18, 1527-1554 (2006) ·Zbl 1106.68094号
[12] 霍尼克，K。；Stinchcombe，M。；White，H.，多层前馈网络是通用逼近器，神经网络。，2, 359-366 (1989) ·Zbl 1383.92015年
[13] Klusowski，J。；Barron，A.，ReLU和平方ReLU脊函数与\（ell^1）和\（ell ^0）控件组合的近似，IEEE Trans。通知。理论，647649-7656（2018）·Zbl 1432.41003号
[14] Krizhevsky，A。；Sutskever，I。；Hinton，G.，用深度卷积神经网络进行Imagenet分类，（NIPS（2012）），1097-1105
[15] LeCun，Y。；Y.本吉奥。；Hinton，G.，《深度学习》，《自然》，521436（2015）
[16] LeCun，Y。；博图，L。；Y.本吉奥。；Haffner，P.，《基于梯度的学习应用于文档识别》，Proc。IEEE，86，2278-2324（1998）
[17] Leshno，M。；Lin，Y。；Pinkus，A。；Schocken，S.，具有非多项式激活函数的多层前馈网络可以近似任何函数，神经网络。，6, 861-867 (1993)
[18] Lin，S。；郭，X。；周，D.X.，正则化最小二乘分布式学习，J.Mach。学习。决议，18，1-31（2017）·Zbl 1435.68273号
[19] Mallat，S.，《理解深卷积网络》，Philos。事务处理。R.Soc.A，374，第20150203条，pp.（2016）
[20] Mhaskar，H.，多层前馈人工神经网络的近似特性，高级计算。数学。，1, 61-80 (1993) ·兹比尔0824.41011
[21] 哈斯卡，H。；Poggio，T.，《深层与浅层网络：近似理论视角》，Anal。申请。，14, 829-848 (2016) ·Zbl 1355.68233号
[22] 彼得森，P。；Voigtlaender，V.，使用深度ReLU神经网络的分段光滑函数的最佳逼近，神经网络。，108, 296-330 (2018) ·Zbl 1434.68516号
[23] Pinkus，A.，神经网络中MLP模型的近似理论，《数值学报》。，8143-195（1999年）·Zbl 0959.68109号
[24] 沙哈姆，美国。；Cloninger，A。；Coifman，R.，深度神经网络的可证明近似性质，应用。计算。哈蒙。分析。，44, 537-557 (2018) ·Zbl 1390.68553号
[25] 斯梅尔，S。；周德兴，Shannon采样和基于点值的函数重建，Bull。阿默尔。数学。《社会学杂志》，41，279-305（2004）·Zbl 1107.94007号
[26] 斯坦瓦特，I。；托曼，P。；Schmid，N.，《分层高斯核学习》（2016）
[27] Strang，G.，《线性代数与从数据中学习》（2019），韦尔斯利-剑桥出版社·Zbl 1422.15001号
[28] Telgarsky，M.，深度在神经网络中的好处，（第29届学习理论年会。第29届学习理论年会，PMLR，第49卷（2016）），1517-1539
[29] Yarotsky，D.，深度ReLU网络近似的误差界，神经网络。，94, 103-114 (2017) ·Zbl 1429.68260号
[30] 周德兴，深度分布卷积神经网络：普适性，分析。申请。，16, 895-919 (2018) ·Zbl 1442.68214号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。