×

深度卷积神经网络理论:降采样。 (英语) Zbl 1434.68532号

摘要:由于深度学习在各个实际领域的成功应用,迫切需要为结构化深度神经网络奠定坚实的理论基础。本文旨在研究结构由卷积导出的深度卷积神经网络的逼近理论。为了克服卷积引起的宽度线性增加网络的理论分析困难,我们引入了一个降采样算子来减小宽度。我们证明了降采样深度卷积神经网络可以很好地用于逼近脊函数,这暗示了这些结构化网络在逼近或建模方面的一些优势。我们还证明了任何多层全连通神经网络的输出都可以由具有相同阶自由参数的下采样深度卷积神经网络的输入来实现,这表明,一般来说,深度卷积网络的逼近能力至少与全连通网络的逼近能力相同。最后,给出了黎曼流形上函数的逼近定理,证明了深度卷积神经网络可以用于学习数据的流形特征。

MSC公司:

68T07型 人工神经网络与深度学习
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[1] Barron,A.R.,σ函数叠加的通用近似界,IEEE信息理论学报,39930-945(1993)·Zbl 0818.68126号
[2] Bölcskei,H。;格罗斯,P。;Kutyniok,G。;Petersen,P.,稀疏连接深度神经网络的最佳逼近,SIAM数据科学数学杂志,1,8-45(2019)·Zbl 1499.41029号
[3] Chui,C.K。;李,X。;Mhaskar,H.N.,具有一个隐藏层的神经网络近似能力的限制,计算数学进展,5,233-243(1996)·Zbl 0855.41026号
[4] Cybenko,G.,通过S形函数叠加进行逼近,控制、信号和系统数学,2303-314(1989)·Zbl 0679.94019号
[5] Daubechies,I.,小波十讲(1992),SIAM·Zbl 0776.42018号
[6] 范,J。;胡,T。;吴琼。;周德兴,经验最小误差熵算法的一致性分析,应用和计算谐波分析,41164-189(2016)·Zbl 1382.94034号
[7] 古德费罗,I。;Y.本吉奥。;A.Courville,《深度学习》(2016),麻省理工学院出版社·Zbl 1373.68009号
[8] 戈登,Y。;Maiorov,V。;梅耶,Y。;Reisner,S.,关于一致范数中岭函数的最佳逼近,构造逼近,18,61-85(2002)·Zbl 0998.41018号
[9] 郭振中。;Xiang,D.H。;郭,X。;Zhou,D.X.,稀疏近似的阈值谱算法,分析与应用,15,433-455(2017)·Zbl 1409.68232号
[10] 辛顿,G.E。;奥辛德罗,S。;Teh,Y.W.,深度信念网络的快速学习算法,神经计算,18527-1554(2006)·Zbl 1106.68094号
[11] 霍尼克,K。;Stinchcombe,M。;White,H.,多层前馈网络是通用逼近器,神经网络,2,第359366页(1989)条·Zbl 1383.92015年
[12] Klusowski,J。;Barron,A.,ReLU和平方ReLU岭函数与控制的组合逼近,IEEE信息理论汇刊,64,7649-7656(2018)·Zbl 1432.41003号
[13] 科勒,M。;Krzyzak,A.,多层前馈神经网络自适应回归估计,非参数统计杂志,17,891-913(2005)·Zbl 1121.62043号
[14] Krizhevsky,A。;Sutskever,I。;Hinton,G.G.,用深度卷积神经网络进行Imagenet分类,(NIPS(2012)),1097-1105
[15] LeCun,Y。;博图,L。;Y.本吉奥。;Haffner,P.,《基于梯度的学习应用于文档识别》,IEEE会议记录,862278-2324(1998)
[16] Leshno,M。;Lin,Y.V。;Pinkus,A。;Schocken,S.,具有非多项式激活函数的多层前馈网络可以近似任何函数,神经网络,6861-867(1993)
[17] Lin,S.B。;Zhou,D.X.,分布式核梯度下降算法,构造逼近,47,249-276(2018)·兹比尔1390.68542
[18] Mallat,S.,《理解深层卷积网络》,伦敦皇家学会哲学学报。系列A,374,第20150203条pp.(2016)
[19] Mhaskar,H.N.,多层前馈人工神经网络的近似特性,计算数学进展,161-80(1993)·兹比尔0824.41011
[20] 彼得森,P。;Voigtlaender,F.,卷积神经网络和全连通网络近似的等效性,《美国数学学会学报》(2018年),(正在印刷中)。arXiv:1809.00973
[21] 彼得森,P。;Voigtlaender,V.,使用深度ReLU神经网络的分段光滑函数的最佳逼近,神经网络,108,296-330(2018)·Zbl 1434.68516号
[22] 沙哈姆,美国。;Cloninger,A。;Coifman,R.,深度神经网络的可证明近似性质,应用和计算谐波分析,44,537-557(2018)·Zbl 1390.68553号
[23] 斯坦瓦特,I。;Christmann,A.,支持向量机(2008),Springer:Springer New York·Zbl 1203.68171号
[24] Telgarsky,M.,《神经网络深度的益处》(第29届学习理论年会,第49卷(2016年),PMLR),1517-1539
[25] Yarotsky,D.,深度ReLU网络近似的误差界,神经网络,94,103-114(2017)·Zbl 1429.68260号
[26] Ying,Y。;Zhou,D.X.,具有一般损失函数的非规则在线学习算法,应用和计算谐波分析,42,224-244(2017)·Zbl 1382.68204号
[27] Zhang,Y.C。;杜奇,J。;温赖特,M.,《分治核岭回归:具有最小-最大最优率的分布式算法》,机器学习研究杂志,1633299-3340(2015)·Zbl 1351.62142号
[28] 周德兴,深度分布卷积神经网络:普适性、分析与应用,16895-919(2018)·Zbl 1442.68214号
[29] Zhou,D.X.,《深度卷积神经网络的分布式近似》(2018),提交出版
[30] 周德兴,深度卷积神经网络的普遍性,应用与计算谐波分析,48,787-794(2020)·Zbl 1434.68531号
此参考列表基于出版商或数字数学图书馆提供的信息。它的项目与zbMATH标识符启发式匹配,并且可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。