马利民;乔纳森·西格尔。;徐金超 浅层神经网络的一致逼近率和度量熵。 （英语） Zbl 1514.41011号 Res.数学。科学。 9，第3号，第46号论文，21页（2022年）. 摘要：我们研究了浅层神经网络对应的变分空间关于一致范数的逼近性质。具体来说，我们考虑谱Barron空间，它由衰减傅里叶模式的凸壳和半空间的指示函数的凸壳组成，它们对应于具有sigmoid激活函数的浅层神经网络。对于对数因子，我们确定了这些空间关于一致范数的度量熵和非线性字典近似率。结合之前关于（L^2）范数的结果，这也给出了关于任何（L^p）范数（1）的度量熵到对数因子。此外，我们使用带有激活函数的浅层神经网络研究了高阶谱Barron空间的逼近速度。特别地，我们证明了对于一个足够高阶谱Barron空间，（mathrm{ReLU}^k）网络能够获得关于一致范数的（n^{-（k+1）}）近似率。 引用于2文件 MSC公司： 41A30型 其他特殊函数类的近似 62B10型 信息理论主题的统计方面 65N30型 含偏微分方程边值问题的有限元、Rayleigh-Ritz和Galerkin方法 关键词：神经网络;近似速率;度量熵;有限元方法 PDF格式BibTeX公司 XML格式引用 \textit{L.Ma}等人，《研究数学》。科学。9，第3号，第46号论文，21页（2022年；Zbl 1514.41011） 全文： DOI程序 参考文献： [1] 巴赫，F.，《用凸神经网络打破维度诅咒》，J.马赫。学习。第18号、第1号、第629-681号决议（2017年）·Zbl 1433.68390号 [2] Ball，K.，Pajor，A.：具有“很少”极点的凸体的熵。摘自：1989年Strob Banach Spaces会议记录。奥地利剑桥大学出版社（1990）·Zbl 0746.60005号 [3] Barron，A.R.：神经网络近似。In：程序。耶鲁大学第七届自适应和学习系统研讨会，第1卷，第69-72页（1992年） [4] Barron，AR，σ函数叠加的通用近似界，IEEE Trans。Inf.理论，39，3，930-945（1993）·Zbl 0818.68126号 ·doi:10.1109/18.256500 [5] 巴隆，AR；科恩，A。；Dahmen，W。；DeVore，RA，《贪婪算法的近似和学习》，《Ann.Stat.》，36，1，64-94（2008）·Zbl 1138.62019号 ·doi:10.1214/009053607000000631 [6] 曹，F。；谢涛。；Xu，Z.，神经网络近似误差的估计：一种构造性方法，神经计算，71，4-6，626-630（2008）·doi:10.1016/j.neucom.2007.07.024 [7] Carl，B.，《熵数、s数和特征值问题》，J.Funct。分析。，41, 3, 290-306 (1981) ·Zbl 0466.41008号 ·doi:10.1016/0022-1236（81）90076-8 [8] Carl，B.，Hilbert空间中凸壳的度量熵，Bull。伦敦。数学。Soc.，29，4，452-458（1997）·兹伯利0879.41012 ·doi:10.1112/S0024609397003044 [9] 卡尔·B。；Kyrezi，I。；Pajor，A.，Banach空间中凸壳的度量熵，J.Lond。数学。Soc.，60，3，871-896（1999）·Zbl 0976.46009号 ·doi:10.1112/S0024610799008005 [10] Cohen，A.，Devore，R.，Petrova，G.，Wojtaszczyk，P.：最优稳定非线性近似。已找到。计算。数学。1-42 (2021) ·Zbl 1507.41010号 [11] 科斯塔雷利，D。；Spigler，R.，通过S形函数叠加的构造逼近，Ana。理论应用。，29, 2, 169-196 (2013) ·Zbl 1299.41033号 ·doi:10.4208/ata.2013.v29.n2.8 [12] Cybenko，G.，S形函数的叠加逼近，数学。控制信号系统。，2, 4, 303-314 (1989) ·Zbl 0679.94019号 ·doi:10.1007/BF02551274 [13] Debao，C.，σ函数叠加的逼近度，逼近理论应用。，9, 3, 17-28 (1993) ·Zbl 0784.41011号 [14] DeVore，RA，非线性近似，《数值学报》，7，51-150（1998）·Zbl 0931.65007号 ·doi:10.1017/S0962492900002816 [15] 迪沃尔，RA；Temlyakov，VN，关于贪婪算法的一些评论，高级计算。数学。，5, 1, 173-187 (1996) ·Zbl 0857.65016号 ·doi:10.1007/BF02124742 [16] E、 W.，Ma，C.，Wu，L.：神经网络模型的巴伦空间和合成函数空间。arXiv预印本arXiv:1906.08039（2019） [17] E、 W.，Ma，C.，Wu，L.：神经网络模型的Barron空间和流诱导函数空间。施工。约1-38（2021年） [18] E、 W.，Wojtowytsch，S.：巴伦函数的表示公式和逐点性质。CoRR（2020年）·Zbl 1482.41013号 [19] E、 W.，Yu，B.：深层Ritz方法：一种基于深度学习的数值算法，用于解决变分问题。Commun公司。数学。统计数据6（1）（2018年）·Zbl 1392.35306号 [20] Erdös，P.，Gruber，P.M.，Hammer，J.：格点。朗曼科技哈洛（1989）·Zbl 0683.10025号 [21] Friedman，J.H.：贪婪函数近似：梯度提升机。《Ann.Stat.1189-1232》（2001年）·Zbl 1043.62034号 [22] Hao，W.，Jin，X.，Siegel，J.W.，Xu，J.：神经网络的高效贪婪训练算法及其在PDE中的应用。arXiv预打印arXiv:2107.04466（2021） [23] Jones，LK，关于Hilbert空间中贪婪逼近和投影寻踪回归和神经网络训练收敛速度的简单引理，《Ann.Stat.》，20，1，608-613（1992）·Zbl 0746.62060号 ·doi:10.1214/aos/1176348546 [24] Klusowski，JM；Barron，AR，RELU和平方RELU脊函数与\（\ell^1\）和\（\ell^0\）控制的组合的近似，IEEE Trans。Inf.理论，64，12，7649-7656（2018）·Zbl 1432.41003号 ·doi:10.1109/TIT.2018.2874447 [25] SV科尼亚金；库列肖夫，AA；Maiorov，VE，岭函数理论中的一些问题，Proc。斯特克洛夫数学研究所。，301, 1, 144-169 (2018) ·Zbl 1405.41011号 ·网址：10.1134/S0081543818040120 [26] 库尔科娃，V。；Sanguineti，M.，《变基速率和神经网络近似的界限》，IEEE Trans。《信息论》，47，6，2659-2665（2001）·Zbl 1008.41012号 ·数字对象标识代码：10.1109/18.945285 [27] 库尔科娃，V。；Sanguineti，M.，《线性和神经网络近似中最坏情况误差的比较》，IEEE Trans。Inf.理论，48，1，264-275（2002）·兹比尔1059.62589 ·数字对象标识代码：10.1109/18.971754 [28] LeCun，Y。；Y.本吉奥。；Hinton，G.，《深度学习》，《自然》，521，7553，436-444（2015）·doi:10.1038/nature14539 [29] 勒杜，M。；Talagrand，M.，《巴拿赫空间中的概率：等高线和过程》（1991），柏林：施普林格出版社，柏林·Zbl 0748.60004号 ·doi:10.1007/978-3642-20212-4 [30] Lewicki，G。；Marino，G.，通过sigmoid函数的叠加逼近有限变分函数，应用。数学。莱特。，17, 10, 1147-1152 (2004) ·Zbl 1067.41013号 ·doi:10.1016/j.aml.2003.11.006 [31] Livshits，ED，贪婪算法收敛速度的下限，Izvestiya Math。，73, 6, 1197 (2009) ·Zbl 1185.41015号 ·doi:10.1070/IM2009v073n06ABEH002478 [32] Lu，J.，Shen，Z.，Yang，H.，Zhang，S.：光滑函数的深度网络近似。arXiv预印arXiv:2001.03040（2020）·Zbl 07407717号 [33] Makovoz，Y.，《随机逼近与神经网络》，J.近似理论，85，1，98-109（1996）·Zbl 0857.41024号 ·文件编号：10.1006/jath.1996.0031 [34] Makovoz，Y.，《神经网络统一逼近》，J.近似理论，95，2，215-228（1998）·Zbl 0932.41016号 ·doi:10.1006/jath.1997.3217 [35] 马拉特，新加坡；Zhang，《用时频字典匹配追踪》，IEEE Trans。信号处理。，41, 12, 3397-3415 (1993) ·Zbl 0842.94004号 ·doi:10.1009/78.258882 [36] Matoušek，J.，半空间差异的紧上界，离散。计算。几何。，13, 3, 593-601 (1995) ·Zbl 0826.68127号 ·doi:10.1007/BF02574066 [37] Matoušek，J.，分区逼近的改进上界，数学学报。，177, 1, 55-73 (1996) ·Zbl 0887.52003号 ·doi:10.1007/BF02392598 [38] Matousek，J.，《几何差异：图解指南》（1999），柏林：施普林格出版社，柏林·Zbl 1197.11092号 ·doi:10.1007/978-3642-03942-3 [39] Nair，V.，Hinton，G.E.：整流线性单元改善了受限的Boltzmann机器。In:ICML（2010） [40] Ongie，G.，Willett，R.，Soudry，D.，Srebro，N.：有界范数无限宽RELU网的函数空间视图：多元情况。参加：国际学习代表大会（ICLR 2020）（2019） [41] Parhi，R.，Nowak，R.D.：神经网络和脊样条的Banach空间表示定理。arXiv预打印arXiv:2006.05626（2020）·兹比尔1507.68250 [42] Parhi，R.，Nowak，R.D.：深度神经网络学习什么样的功能？变分样条理论的见解。arXiv预打印arXiv:2105.03361（2021）·Zbl 07511677号 [43] Petrushev，PP，岭函数和神经网络逼近，SIAM J.数学。分析。，30, 1, 155-189 (1998) ·Zbl 0927.41006号 ·doi:10.1137/S0036141097322959 [44] Pietsch，A.，（代数），I.，Company，N.H.P.：算子理想。数学研究。North-Holland出版公司（1980）。https://books.google.com/books？id=SAyoAAAAIAAJ [45] Pisier，G.：《非公共场合下的苏丹》（Remarques sur un re sultat non publiéde b.maurey）。Séminaire Analysis foctionnelle（编辑“Maurey Schwartz”），第1-12页（1981年）·Zbl 0491.46017号 [46] Sauer，N.，关于集合族的密度，J.Comb。理论Ser。A、 13,1145-147（1972）·Zbl 0248.0505号 ·doi:10.1016/0097-3165（72）90019-2 [47] Shelah，S.，一个组合问题；无限语言中模型和理论的稳定性和顺序，Pac。数学杂志。，41, 1, 247-261 (1972) ·兹比尔0239.02024 ·doi:10.2140/pjm.1972.41.247 [48] Siegel，J.W.，Xu，J.：浅层神经网络对应的变化空间的特征。arXiv预打印arXiv:2106.15002（2021） [49] Siegel，J.W.，Xu，J.：浅层神经网络的近似速率、度量熵和宽度的夏普界。arXiv预打印arXiv:2101.12365（2021） [50] 西格尔，JW；Xu，J.，带余弦和RELUk激活函数的浅层神经网络的高阶近似率，应用。计算。哈蒙。分析。，58, 1-26 (2022) ·Zbl 1501.41006号 ·doi:10.1016/j.acha.2021.12.005 [51] Siegel，J.W.，Xu，J.：正交贪婪算法的最佳收敛速度。IEEE传输。信息理论（2022）·Zbl 1497.94027号 [52] Sil'nichenko，A.，贪婪算法的收敛速度，数学。注释，76，3，582-586（2004）·Zbl 1132.41345号 ·doi:10.1023/B:MATN.0000043488.98673.79 [53] Temlyakov，V.，《贪婪近似》（2011），剑桥：剑桥大学出版社，剑桥·Zbl 1279.41001号 ·doi:10.1017/CBO9780511762291 [54] Temlyakov，VN，贪婪近似，数值学报。，17, 235, 409 (2008) ·Zbl 1178.65050号 [55] Vapnik，V.N.，Chervonenkis，A.Y.：关于事件的相对频率与其概率的一致收敛。《复杂性度量》，第11-30页。柏林施普林格出版社（2015）·Zbl 1337.60009号 [56] Xu，J.，有限神经元方法和收敛性分析，Commun。计算。物理。，28, 5, 1707-1745 (2020) ·Zbl 1473.65350号 ·doi:10.4208/cicp。OA-2020-0191号 [57] 徐，Z。；曹凤，《神经网络的基本逼近阶》，科学中国期刊。F信息科学。，47, 1, 97-112 (2004) ·Zbl 1186.82063号 ·doi:10.1360/02yf0221 [58] 尤基奇，JE；细梳，MB；White，H.，通过概率方法的网络超形式近似界，IEEE Trans。Inf.理论，41，4，1021-1027（1995）·兹比尔083568102 ·数字对象标识代码：10.1109/18.391247 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。