×
乔纳森·西格尔。;徐金超

具有余弦和（mathrm{ReLU}^k）激活函数的浅层神经网络的高阶逼近率。 （英语） Zbl 1501.41006号

申请。计算。哈蒙。分析。 58, 1-26 (2022).
摘要：我们研究了激活函数为校正线性单位幂的浅层神经网络的逼近性质。特别地，我们考虑了逼近率对拟逼近的基本函数（f）的谱Barron空间的维数和光滑度的依赖性。我们证明，随着（f）的平滑指数的增加，具有（mathrm{ReLU}^k）激活函数的浅层神经网络获得了一个改进的逼近速度，达到了（L^2）中的（O（n^{-（k+1）}log（n））的最佳可能速率，与维数（d）无关。该结果的意义在于，激活函数（ReLU ^k）是固定的，与维数无关，而对于经典方法，为了利用与维数相关的平滑度（f），多项式逼近度或所用小波的平滑度必须增加。此外，我们还导出了谱Barron空间上具有余弦激活函数的浅层神经网络的改进逼近率。最后，我们证明了在给定的假设下，所获得的逼近率是最优的下界。

引用于15文件

MSC公司：

41A30型 其他特殊函数类的近似
42立方厘米 涉及小波和其他特殊系统的非三角调和分析
46E35型 Sobolev空间和其他“光滑”函数空间、嵌入定理、迹定理
第65天05 数值插值

关键词：

神经网络;近似速率;近似下限;有限元方法
PDF格式BibTeX公司 XML格式引用
\textit{J.W.Siegel}和\textit{J.Xu}，应用。计算。哈蒙。分析。58，1--26（2022；Zbl 1501.41006）
全文： DOI程序 arXiv公司

参考文献：

[1] Argyris，J.H。；弗里德，我。；Scharpf，D.W.，矩阵位移法中的tuba板单元族，航空航天。J.，72，701-709（1968）
[2] 阿塔利，J.G。；Pagès，G.，多层感知器函数逼近：一种新方法，神经网络。，10, 1069-1081 (1997)
[3] 巴赫，F.，《用凸神经网络打破维度诅咒》，J.马赫。学习。决议，18，629-681（2017）·Zbl 1433.68390号
[4] Barron，A.R.，σ函数叠加的通用近似界，IEEE Trans。Inf.理论，39，930-945（1993）·Zbl 0818.68126号
[5] Y.本吉奥。；俄勒冈州德拉鲁。；Le Roux，N.，局部内核机器的高变量函数的诅咒，高级神经信息处理。系统。，18, 107 (2006)
[6] Berge，C.，《图和超图》（1973）·Zbl 0483.05029号
[7] Bramble，J.H。；Zlámal，M.，有限元法中的三角形单元，数学。计算。，24, 809-820 (1970) ·Zbl 0226.65073号
[8] Brenner，S。；Scott，R.，《有限元方法的数学理论》，第15卷（2007），Springer Science&Business Media
[9] 布雷斯勒，G。；Nagaraj，D.，精确依赖深度的relu网络的Sharp表示定理（2020），预印本
[10] Bungartz，H.J。；Griebel，M.，稀疏网格，Acta Numer。，13, 147-269 (2004) ·Zbl 1118.65388号
[11] Candes，E.J.，Ridgelets:理论与应用（1998），斯坦福大学
[12] 科斯塔雷利，D。；Spigler，R.，由S形函数激活的神经网络算子的近似结果，神经网络。，44, 101-106 (2013) ·Zbl 1296.41017号
[13] 科斯塔雷利，D。；Spigler，R.，《乙状函数级数逼近及其在神经网络中的应用》，Ann.Mat.Pura Appl。，1923, 194, 289-306 (2015) ·Zbl 1321.41021号
[14] Daubechies，I.，《小波十讲》（1992年），SIAM·Zbl 0776.42018号
[15] Daubechies，I。；DeVore，R。；福卡特，S。；哈宁，B。；Petrova，G.，《非线性近似和（深度）关系网络》（2019），预印本
[16] DeVore，R.A.，《非线性近似》，《数值学报》。，7, 51-150 (1998) ·Zbl 0931.65007号
[17] DeVore，R.A。；Lorentz，G.G.，《建设性近似》，第303卷（1993年），施普林格科学与商业媒体·Zbl 0797.41016号
[18] 多诺霍，D。；Johnstone，I.，《经验原子分解》（1995），未出版手稿
[19] E、 W。；马，C。；Wu，L.，Barron空间和神经网络模型的合成函数空间（2019），预印本
[20] Ellacott，S.，《神经网络数值分析方面》，《数值学报》。，3, 145-202 (1994) ·Zbl 0807.65007号
[21] Erdös，P。；P.M.Gruber。；Hammer，J.，Lattice Points（1989），Longman Scientific&Technical Harlow·Zbl 0683.10025号
[22] 戈登，Y。；Maiorov，V。；梅耶，M。；Reisner，S.，关于统一范数中岭函数的最佳逼近，Constr。约，1861-85（2001）·Zbl 0998.41018号
[23] Hornik，K.，多层前馈网络的逼近能力，神经网络。，4, 251-257 (1991)
[24] Hornik，K.，关于神经网络逼近的一些新结果，神经网络。，6, 1069-1072 (1993)
[25] 霍尼克，K。；Stinchcombe先生。；白色，H。；Auer，P.，前馈网络逼近未知映射及其导数的逼近度结果，神经计算。，6, 1262-1275 (1994) ·Zbl 0846.60088号
[26] Johnson，S.G.，C^∞凸点函数的鞍点积分（2015），手稿。可在
[27] Jones，L.K.，关于hilbert空间中贪婪近似和投影寻踪回归和神经网络训练的收敛速度的一个简单引理，Ann.Stat.，20608-613（1992）·Zbl 0746.62060号
[28] Kainen，P.C。；Kurková，V.，欧氏空间的拟正交维数，应用。数学。莱特。，6, 7-10 (1993) ·Zbl 0783.05030号
[29] Klusowski，J.M。；Barron，A.R.，通过relu和平方relu岭函数与\（ell^1）和\（ell ^0）控件的组合进行近似，IEEE Trans。Inf.Theory，64，7649-7656（2018）·Zbl 1432.41003号
[30] 库尔科娃，V。；Sanguineti，M.，《变基速率和神经网络近似的界限》，IEEE Trans。《信息论》，47，2659-2665（2001）·Zbl 1008.41012号
[31] 库尔科娃，V。；Sanguineti，M.，变基近似速率的几何上界，IEEE Trans。Inf.理论，54，5681-5688（2008）·Zbl 1319.68177号
[32] 赖，M.J。；Schumaker，L.L.，三角剖分的样条函数，110（2007），剑桥大学出版社·Zbl 1185.41001号
[33] Lavretsky，E.，《关于神经近似的几何收敛性》，IEEE Trans。神经网络。，13, 274-282 (2002)
[34] Leshno，M。；林，V.Y。；Pinkus，A。；Schocken，S.，具有非多项式激活函数的多层前馈网络可以近似任何函数，神经网络。，6, 861-867 (1993)
[35] Li，B。；唐，S。；Yu，H.，用带整流功率单元的深度神经网络更好地逼近高维光滑函数（2019），预印本
[36] 林，Q。；谢浩。；Xu，J.，分段多项式离散化误差的下界，数学。计算。，83, 1-13 (2014) ·Zbl 1280.65118号
[37] 洛伦茨，G.G。；M.v.Golitschek。；Makovoz，Y.，《构造逼近：高级问题》，第304卷（1996），施普林格出版社·Zbl 0910.41001号
[38] 卢，J。；卢，Y。；Wang，M.，解高维椭圆方程的deep ritz方法的先验推广分析（2021），预印本
[39] Maiorov，V.，《关于脊函数的最佳逼近》，J.近似理论，99，68-94（1999）·Zbl 0939.41014号
[40] Maiorov，V.，lp空间中脊函数的最佳逼近，Ukr。数学。J.，62，452-466（2010）·Zbl 1224.41093号
[41] Makovoz，Y.，随机逼近与神经网络，J.近似理论，8598-109（1996）·Zbl 0857.41024号
[42] 奈尔，V。；Hinton，G.E.，《整流线性单元改进受限玻尔兹曼机》（ICML（2010））
[43] 帕蒂，Y.C。；Rezaiifar，R。；Krishnaprasad，P.S.，《正交匹配追踪：递归函数逼近及其在小波分解中的应用》，（第27届信号、系统和计算机Asilomar会议论文集（1993），IEEE），40-44
[44] Petrushev，P.P.，《岭函数和神经网络逼近》，SIAM J.Math。分析。，30, 155-189 (1998) ·Zbl 0927.41006号
[45] Pisier，G.，Remarques sur un résultat non-publiéde b.maurey，（《社会分析功能内尔》（编辑“maurey-Schwartz”）（1981年），第1-12页·Zbl 0491.46017号
[46] Rockafellar，R.T.，《凸分析》，28（1970），普林斯顿大学出版社·兹比尔0193.18401
[47] 西格尔，J.W。；Xu，J.，具有一般激活函数的神经网络的逼近率，神经网络。，128, 313-321 (2020) ·Zbl 1480.41007号
[48] 西格尔，J.W。；Xu，J.，浅层神经网络对应的变化空间的表征（2021），预印本
[49] 西格尔，J.W。；Xu，J.，正交贪婪算法的改进收敛速度（2021），预打印
[50] 西格尔，J.W。；Xu，J.，浅层神经网络近似速率、度量熵和n宽度的夏普界（2021），预印本
[51] Xu，J.，有限神经元方法和收敛性分析，Commun。计算。物理。，28, 1707-1745 (2020) ·Zbl 1473.65350号
[52] Yarotsky，D.，深度相关网络近似的误差界，神经网络。，94, 103-114 (2017) ·Zbl 1429.68260号
[53] Yarotsky，D.，用极深relu网络对连续函数的最佳逼近（2018），预印本
[54] 雅罗斯基，D。；Zhevnerchuk，A.，深度神经网络近似率相图，高级神经信息处理。系统。，33 (2020)
[55] ƀenísh ek，A.，三角形上的插值多项式，Numer。数学。，15, 283-296 (1970) ·Zbl 0216.38901号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。