×
哈斯卡，H.N。;Poggio，T。

深网络函数逼近。 （英语） Zbl 1442.62215号

Commun公司。纯应用程序。分析。 19，第8期，4085-4095（2020年）.
摘要：我们表明，深度网络在逼近可表示为由有向无环图描述的函数组合的函数方面优于浅层网络，因为深度网络可以设计为具有相同的组合结构，而浅层网络无法利用此知识。因此，组合的祝福减轻了维度的诅咒。另一方面，一个称为良好误差传播的定理允许通过适当选择范数、平滑度等将浅网络的定理“提升”为深网络的定理。我们在三种情况下对此进行了说明，其中深网络中的每个信道计算一个球面多项式，一个非光滑ReLU网络，或与ReLU网络密切相关的另一个分区功能网络。

引用于7文件

MSC公司：

62米45 神经网络及从随机过程推断的相关方法
62兰特 度量空间统计
41A25型 收敛速度，近似度
68问题32 计算学习理论
05C90年 图论的应用

关键词：

深层网络;近似度;欧几里德球面的近似;有向无环图
PDF格式BibTeX公司 XML格式引用
\textit{H.N.Mhaskar}和\textit{T.Poggio}，Commun。纯应用程序。分析。19，第8号，4085--4095（2020；Zbl 1442.62215）
全文： 内政部 arXiv公司

参考文献：

[1] F.Bach，《用凸神经网络打破维度诅咒》，J.Mach。学习。决议，18，629-681（2017）·兹比尔1433.68390
[2] Y.Cho和L.K.Saul，深度学习的核心方法，《神经信息处理系统进展》（2009），第342-350页。
[3] 蔡健昆；十、李；H.N.Mhaskar，具有一个隐藏层的神经网络近似能力的限制，高级计算。数学。，5, 233-243 (1996) ·Zbl 0855.41026号 ·doi:10.1007/BF02124745
[4] 蔡春凯、林胜斌、周德兴，实现局部深度学习的神经网络构建，前沿。申请。数学。统计人员。，4 (2018).
[5] R.Eldan和O.Shamir，前馈神经网络的深度力量，《学习理论会议》（2016），907-940。
[6] B.Hanin，《宽度有界和相关激活的深度神经网络的通用函数逼近》，《数学》第7卷（2019年），第992条。
[7] Q.T.Le Gia；H.N.Mhaskar，球面上的局部线性多项式算子和求积公式，SIAM J.Numer。分析。，47, 440-466 (2009) ·Zbl 1190.65039号 ·doi:10.1137/060678555
[8] P.利佐金；K.P.Rustamov，球面上的Nikol's kii-Besov空间与近似理论，Proc。Steklov Inst.数学。AMS事务处理。，204, 149-172 (1994) ·Zbl 0849.46025号
[9] H.N.Mhaskar，多层前馈人工神经网络的近似性质，高级计算。数学。，1, 61-80 (1993) ·Zbl 0824.41011号 ·doi:10.1007/BF02070821
[10] H.N.Mhaskar，流形上函数逼近的Eignets，应用。计算。哈蒙。分析。，29, 63-87 (2010) ·兹比尔1201.41003 ·doi:10.1016/j.aca.2009.08.006
[11] H.N.Mhaskar，一般浅层网络的维数无关界，神经网络。，123, 142-152 (2020) ·doi:10.1016/j.neunet.2019.11.006
[12] H.N.Mhaskar，具有类似于校正线性单位函数的激活函数的带状函数网络的函数逼近，《复杂性杂志》，51，1-19（2019）·Zbl 1409.41008号 ·doi:10.1016/j.jco.2018.09.002
[13] H.N.Mhaskar；T.Poggio，《深层网络与浅层网络：近似理论视角》，Anal。申请。，14, 829-848 (2016) ·Zbl 1355.68233号 ·doi:10.1142/S0219530516400042
[14] R.Montufar；G.F.公司。；帕斯卡努；K.Cho；Y.Bengio，《关于深层神经网络线性区域的数量》，《高级神经信息》。过程。系统。，27, 2924-2932 (2014)
[15] S.Pawelke，u ber die Approximationsordung bei Kugelfunktionen und algebraischen Polynomen，东北数学。《期刊》。，24, 473-486 (1972) ·Zbl 0243.41006号 ·doi:10.2748/tmj/1178241489
[16] I.Safran和O.Shamir，用于逼近光滑非线性函数的relu网络中的深度分离，预印本，arXiv:1610.09887。
[17] I.Safran和O.Shamir，用神经网络逼近自然函数的深度-宽度权衡，《第34届机器学习国际会议论文集》，第70卷，（2017），2979-2987。
[18] T.Serra，C.Tjandraatmadja和S.Ramalingam，深度神经网络线性区域的边界和计数，预印本，arXiv:1711.02114。
[19] O.Sharir和A.Shashua，《关于深度学习重叠架构的表现力》，预印本，arXiv:1703.02065。
[20] M.Telgarsky，神经网络深度的好处，预印本，arXiv:1602.04485。
[21] D.Yarotsky，深度相关网络近似的误差界，神经网络。，94, 103-114 (2017) ·兹比尔1429.68260
[22] D.Yarotsky，超深relu网络对连续函数的最佳逼近，预印本，arXiv:1802.03620·Zbl 1429.68260号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。