×

使用单层和多层前馈神经网络进行近似的负结果。 (英语) 兹伯利07309692

摘要:我们证明了用具有一个隐层和任意连续激活函数的前馈神经网络逼近定义在紧子集上的函数的一个否定结果。简而言之,这个结果表明存在目标函数,而这些目标函数很难用这些神经网络来逼近。我们还证明了具有任意的隐藏层的数量,对于有理函数或具有有限多个片段的连续样条函数的激活函数。

MSC公司:

2017年10月68日 人工神经网络与深度学习
41A30型 其他特殊函数类的近似
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] Almira,J.M。;Oikhberg,T.,满足夏皮罗定理的近似方案,J.近似理论,164,534-571(2012)·Zbl 1242.41017号
[2] Almira,J.M。;Oikhberg,T.,Shapiro的子空间定理,J.Math。分析。申请。,388, 282-302 (2012) ·Zbl 1236.41021号
[3] Barron,A.R.,《神经网络近似》(第七届耶鲁大学自适应和学习系统研讨会,第1卷(1992年)),第69-72页
[4] Barron,A.R.,σ函数叠加的通用近似界,IEEE Trans。Inf.理论,39,930-945(1993)·Zbl 0818.68126号
[5] Bianchini,M。;Scarselli,F.,《神经网络分类器的复杂性:浅层和深层架构的比较》,IEEE Trans。神经网络。学习。系统。,25, 1553-1565 (2014)
[6] Evans,L.C.,偏微分方程(2010),美国数学学会:美国数学学会普罗维登斯,RI·Zbl 1194.35001号
[7] Folland,G.B.,《真实分析》(1999),John Wiley&Sons公司:John Willey&Sons,Inc.纽约·兹标0924.28001
[8] 戈登,Y。;Maiorov,V。;迈耶,M。;Reisner,S.,关于统一范数中岭函数的最佳逼近,Constr。约,1861-85(2002)·Zbl 0998.41018号
[9] 新泽西州古利耶夫。;Ismailov,V.E.,关于用固定权重的单隐层前馈神经网络进行逼近,神经网络。,98, 296-304 (2018) ·Zbl 1437.68062号
[10] 新泽西州古利耶夫。;Ismailov,V.E.,具有固定权重的两个隐层前馈神经网络的逼近能力,神经计算,316,262-269(2018)
[11] 霍尼克,K。;Stinchcombe,M。;White,H.,多层前馈网络是通用逼近器,神经网络。,2, 359-366 (1989) ·Zbl 1383.92015年
[12] Ismailov,V.E.,《关于隐层神经元数量有限的神经网络逼近》,J.Math。分析。申请。,417, 963-969 (2014) ·Zbl 1303.41010号
[13] Kainen,P.C。;Kůrková,V。;Sanguineti,M.,计算模型对输入维的依赖性:近似和优化任务的可处理性,IEEE Trans。《信息论》,581203-1214(2012)·Zbl 1365.68373号
[14] 卡宾斯基,M。;Macintyre,A.,Sigmoid和一般Pfaffian神经网络VC维的多项式界,J.Compute。系统。科学。,54, 169-176 (1997) ·Zbl 0869.68088号
[15] Kůrková,V.,Kolmogorov定理是相关的,神经计算。,3, 617-622 (1991)
[16] Kůrková,V.,Kolmogorov定理和多层神经网络,神经网络。,5, 501-506 (1992)
[17] Kůrková,V。;Sanguineti,M.,代表高度变化函数的浅层网络的模型复杂性,神经计算,171,598-604(2016)
[18] Kůrková,V。;Sanguineti,M.,浅层感知器网络近似的概率下限,神经网络。,91,34-41(2017)·兹比尔1437.68063
[19] Leshno,M。;林,V.Y。;Pinkus,A。;Schocken,S.,具有非多项式激活函数的多层前馈网络可以近似任何函数,神经网络。,6, 861-867 (1993)
[20] 洛伦茨,G.G。;M.V.Golitschek。;Makovoz,Y.,《构造逼近:高级问题》(1996),Springer·Zbl 0910.41001号
[21] Maiorov,V。;Pinkus,A.,MLP神经网络近似的下限,神经计算,25,81-91(1999)·Zbl 0931.68093号
[22] Maiorov,V.E.,(L_p)-空间中脊函数的最佳逼近,Ukr。材料。,62, 396-408 (2010) ·Zbl 1224.41093号
[23] Mhaskar,H.N.,光滑函数和解析函数最佳逼近的神经网络,神经计算。,8, 164-177 (1996)
[24] Mhaskar,H.N.,《关于多元积分和神经网络逼近的可处理性》,J.Complex。,20, 561-590 (2004) ·Zbl 1344.65036号
[25] Siu,K-Y。;Roychowdhury,V.P。;Kailath,T.,神经网络分析的有理逼近技术,IEEE Trans。Inf.理论,40,455-466(1994)·Zbl 0811.94041号
[26] Telgarsky,M.,《神经网络深度的好处》,J.Mach。学习。Res.Workshop Conf.Proc.,研究车间确认程序。,49, 1-23 (2016)
[27] Telgarsky,M.,《神经网络和理性函数》(Proc.Machine Learning Research ICML(2017)),第3387-3393页
[28] Williamson,R.C.,神经网络的理性参数化,高级神经信息处理。系统。,6, 623-630 (1993)
[29] 威廉姆森共和国。;Barlett,P.L.,《样条,有理函数和神经网络》,《高级神经信息处理》。系统。,5, 1040-1047 (1992)
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。