沈左伟;杨海照;张世军 深度网络的近似误差是深度平方根的宽度的倒数。 （英语） Zbl 1521.41007号 神经计算。 33，第4号，1005-1036（2021）. 摘要：介绍了一种具有超逼近能力的新型网络。该网络由每个神经元中的Floor（\lfloor x \rfloor）或ReLU（\max\{0，x\}）激活功能构成；因此，我们称这种网络为Floor-ReLU网络。对于任何超参数\（N\in\mathbb｛N｝^+\）和\（L\in\mathbb｛N｝^+\和\（\lambda\）分别是Hölder阶和常数。更一般地，对于具有连续模的（[0,1]^d）上的任意连续函数（f），构造逼近率为（omega_f（\sqrt{d}N^{-\sqrt{L}}）+2\omega_f（\sqart{d}）N^{-\sqrt}L}}\）。因此，当（ω_f（r）As（r至0）的变化适中（例如，Hölder连续函数的（ω_ f（r乘以连续模内与（d）无关的函数（N和L）。 引用于20文件 MSC公司： 41A30型 其他特殊函数类的近似 41A25型 收敛速度，近似度 68T07型 人工神经网络与深度学习 软件：二进制网络 PDF格式BibTeX公司 XML格式引用 \textit{Z.Shen}等人，神经计算。33，编号4，1005--1036（2021；Zbl 1521.41007） 全文： 内政部 arXiv公司 参考文献： [1] Allen-Zhu，Z.，Li，Y.，&Liang，Y..（2019年）。超参数神经网络的学习和泛化，超越了两层。arXiv:abs/1811.04918。 [2] Arnold，V.I.（1957）。关于三个变量的函数。多克。阿卡德。诺克SSSR，114（5），679-681。谷歌学者·Zbl 0090.27101号 [3] Arora，S.、Du，S.S.、Hu，W.、Li，Z.和Wang，R.（2019年）。超参数双层神经网络优化和泛化的细粒度分析。在ICML会议记录中。谷歌学者 [4] Bao，C.，Li，Q.，Shen，Z.，Tai，C.，Wu，L.，&Xiang，X.（2019）。卷积神经网络的近似分析。语义学者ID:204762668。 [5] Barron，A.R.（1993）。sigmoid函数叠加的通用近似界。IEEE信息理论汇刊，39（3），930-945。谷歌学者搜索ADS·Zbl 0818.68126号 [6] Bartlett，P.、Maiorov，V.和Meir，R.（1998年）。分段多项式网络的几乎线性VC-维数界。神经计算，10217-223。谷歌学者搜索ADS [7] Bengio，Y.、Léonard，N.和Courville，A.（2013）。通过用于条件计算的随机神经元估计或传播梯度。arXiv:1308.3432。 [8] Berner，J.、Grohs，P.和Jentzen，A.（2018年）。泛化误差分析：深度人工神经网络上的经验风险最小化克服了Black-Scholes偏微分方程数值逼近中的维数诅咒。CoRR，abs/1809.03062。 [9] Bölcskei，H.、Grohs，P.、Kutyniok，G.和Petersen，P.（2019年）。稀疏连接深度神经网络的最优逼近。SIAM数据科学数学杂志，1（1），8-45。谷歌学者搜索ADS·Zbl 1499.41029号 [10] Boo，Y.、Shin，S.和Sung，W.（2020年）。量化神经网络：表征和整体优化。arXiv:abs/2006.00530。 [11] Braun，J.和Griebel，M.（2009年）。关于Kolmogorov叠加定理的构造性证明。构造近似，30653-675。谷歌学者搜索ADS·Zbl 1194.26020号 [12] 曹毅（Cao，Y.）和顾强（Gu，Q.）（2019）。宽和深神经网络随机梯度下降的推广界。CoRR，abs/1905.13210。 [13] Carrillo，J.A.T.、Jin，S.、Li，L.和Zhu，Y.（2019年）。一种基于共识的高维机器学习问题全局优化方法。arXiv:1909.09249。 [14] Chen，L.，&Wu，C.（2019年）。关于深校正线性单位网络在高维空间中表达能力的注记。应用科学中的数学方法，42（9），3400-3404。谷歌学者搜索ADS·Zbl 1416.41018号 [15] Chen，M.、Jiang，H.、Liao，W.和Zhao，T.（2019）。低维流形上函数的深度ReLU网络的有效逼近。H.Wallach、H.Larochelle、A.Beygelzimer、F.d'Alché-Buc、E.Fox和R.Garnett（编辑），《神经信息处理系统的进展》，32（第8174-8184页）。纽约州红钩市：Curran。谷歌学者 [16] Chen，Z.、Cao，Y.、Zou，D.和Gu，Q.（2019）。多少过参数化足以了解深层ReLU网络？CoRR，arXiv:1911.12360。 [17] Chui，C.K.，Lin，S.-B.，&Zhou，D.-X.（2018）。构建用于实现局部深度学习的神经网络。应用数学和统计前沿，4，14。谷歌学者 [18] Cybenko，G.（1989年）。通过sigmoid函数的叠加进行逼近。控制、信号和系统数学，2303-314。谷歌学者搜索ADS·Zbl 0679.94019号 [19] Devore，R.A.（1989）。最佳非线性近似。数学手稿，63（4），469-478。谷歌学者搜索ADS·Zbl 0682.41033号 [20] Gribonval，R.、Kutyniok，G.、Nielsen，M.和Voigtlaender，F.（2019年）。深度神经网络的近似空间。arXiv:1905.01208。 [21] Gühring，I.、Kutyniok，G.和Petersen，P.（2019年）。（W{}^{s，p}）范数中深度ReLU神经网络逼近的误差界。arXiv:1902.07896·Zbl 1452.41009号 [22] Guliyev，N.J.和Ismailov，V.E.（2018年）。具有固定权重的两个隐层前馈神经网络的逼近能力。神经计算，316，262-269。谷歌学者搜索ADS [23] Harvey，N.、Liaw，C.和Mehrabian，A.（2017年）。分段线性神经网络的近紧VC-维数界。S.Kale和O.Shamir（编辑），《机器学习研究论文集》（第1064-1068页）。阿姆斯特丹：PMLR。谷歌学者 [24] Holland，J.H.（1992）。遗传算法。《科学美国人》，267（1），66-73。谷歌学者搜索ADS [25] Hornik，K.、Stinchcombe，M.和White，H.（1989年）。多层前馈网络是通用逼近器。神经网络，2（5），359-366。谷歌学者交叉引用搜索ADS·Zbl 1383.92015年 [26] Hubara，I.、Courbariaux，M.、Soudry，D.、El-Yaniv，R.和Bengio，Y.（2017年）。量化神经网络：训练具有低精度权重和激活的神经网络。J.马赫。学习。研究，18（1），6869-6898。谷歌学者·Zbl 1468.68183号 [27] Igelnik，B.和Parikh，N.（2003年）。Kolmogorov的样条网络。IEEE神经网络汇刊，14（4），725-733。谷歌学者搜索ADS [28] Jacot，A.、Gabriel，F.和Hongler，C.（2018年）。神经切线核：神经网络中的收敛和泛化。CoRR，abs/1806.07572。 [29] Ji，Z.和Telgarsky，M.（2020年）。多对数宽度足以用于梯度下降，从而在浅ReLU网络中实现任意小的测试误差。arXiv:abs/1909.12292。 [30] Kennedy，J.和Eberhart，R.（1995年）。粒子群优化。《神经网络国际会议记录》（第4卷，第1942-1948页）。纽约州红钩市：Curran。 [31] Kirkpatrick，S.、Gelatt，C.D.和Vecchi，M.P.（1983年）。通过模拟退火进行优化。《科学》，220（4598），671-680。谷歌学者搜索ADS·Zbl 1225.90162号 [32] Kolmogorov，A.N.（1956年）。关于几个变量的连续函数的表示，是由几个较小变量连续函数的叠加。多克。阿卡德。诺克SSSR，108，179-182。谷歌学者·Zbl 0070.28301号 [33] Kolmogorov，A.N.（1957）。用一元连续函数的叠加和加法表示多变量连续函数。多克。阿卡德。诺克SSSR，114953-956。谷歌学者·Zbl 0090.27103号 [34] Kůrková，V.（1992）。科尔莫戈洛夫定理和多层神经网络。神经网络，5（3），501-506。谷歌学者交叉引用搜索ADS [35] Li，Q.，Lin，T.，&Shen，Z.（2019）。通过动力系统进行深度学习：近似观点。arXiv:1912.10382。 [36] Liang，S.，&Srikant，R.（2016）。为什么是深层神经网络？CoRR，abs/1610.04161。 [37] Lin，Y.、Lei，M.和Niu，L.（2019年）。量化神经网络中的优化策略：综述。2019年国际数据挖掘研讨会会议记录（第385-390页）。新泽西州皮斯卡塔韦：IEEE。谷歌学者 [38] Lu，J.，Shen，Z.，Yang，H.，&Zhang，S.（2020年）。光滑函数的深度网络近似。arXiv:2001.03040。 [39] Luo，T.和Yang，H.（2020年）。偏微分方程的双层神经网络：优化和泛化理论。arXiv:abs/2006.15733。 [40] Maiorov，V.和Pinkus，A.（1999）。MLP神经网络近似的下限。神经计算，25（1），81-91。谷歌学者·Zbl 0931.68093号 [41] Montanelli，H.和Du，Q.（2019年）。使用稀疏网格的深层ReLU网络的新错误边界。SIAM数据科学数学杂志，1（1），78-92。谷歌学者搜索ADS·Zbl 1513.68054号 [42] Montanelli，H.和Yang，H.（2020年）。使用Kolmogorov-Anold叠加定理的深度ReLU网络的误差界。神经网络，129，1-6。谷歌学者搜索ADS·Zbl 1512.41013号 [43] Montanelli，H.、Yang，H.和Du，Q.（新闻稿）。Deep ReLU网络克服了带宽受限函数的维数灾难。计算数学杂志。 [44] Nakada，R.和Imaizumi，M.（2019年）。具有内在维数的深度神经网络的自适应逼近和估计。arXiv:1907.02177·Zbl 1525.68135号 [45] Nelder，J.和Mead，R.（1965年）。函数最小化的单纯形方法。计算。J.，第7期，第308-313页。谷歌学者搜索ADS·Zbl 0229.65053号 [46] Opschoor，J.A.A.、Schwab，C.和Zech，J.（2019年）。高维全纯映射的指数ReLU-DNN表示。（2019-35技术报告）。瑞士苏黎世理工学院应用数学研讨会。https://math.ethz.ch/sam/research/reports.html？id=839。 [47] Petersen，P.和Voigtlaender，F.（2018年）。使用深度ReLU神经网络优化逼近分段光滑函数。神经网络，108296-330。谷歌学者搜索ADS·Zbl 1434.68516号 [48] Pinnau，R.、Totzeck，C.、Tse，O.和Martin，S.（2017）。基于共识的全局优化模型及其平均场限制。应用科学中的数学模型和方法，27（1），183-204。谷歌学者搜索ADS·Zbl 1388.90098号 [49] Poggio，T.、Mhaskar，H.N.、Rosasco，L.、Miranda，B.和Liao，Q.（2017年）。为什么以及什么时候深层而非浅层网络可以避免维度的诅咒：综述。《国际自动化与计算杂志》，14503-519。谷歌学者搜索ADS [50] Shen，Z.、Yang，H.和Zhang，S.（2019年）。通过合成进行非线性近似。神经网络，119，74-84。谷歌学者搜索ADS·Zbl 1475.41013号 [51] Shen，Z.、Yang，H.和Zhang，S.（2020年）。以神经元数量为特征的深度网络近似。计算物理通信，28（5），1768-1811。谷歌学者搜索ADS·Zbl 1507.68276号 [52] 铃木，T.（2019）。深度ReLU网络在Besov和混合光滑Besov空间中学习的适应性：最优速率和维数诅咒。《学习代表国际会议论文集》。谷歌学者 [53] Wang，P.，Hu，Q.，Zhang，Y.，Zang，C.，Liu，Y.和Cheng，J.（2018）。低比特神经网络的两步量化。2018年IEEE计算机视觉和模式识别会议记录（第4376-4384页）。新泽西州皮斯卡塔韦：IEEE。谷歌学者 [54] Weinan，E.、Ma，C.和Wu，L.（2019年）。两层神经网络人口风险的先验估计。数学科学传播，17（5），1407-1425。谷歌学者·Zbl 1427.68277号 [55] Weinan，E.，&Wang，Q.（2018年）。解析函数深度神经网络逼近的指数收敛性。CoRR，abs/1807.00297·Zbl 1475.65007号 [56] Weinan，E.和Wojtowytsch，S.（2020年）。Barron函数的表示公式和逐点性质。arXiv:2006.05982。 [57] Yang，Y.和Wang，Y..（2020年）。基于深度ReLU神经网络的位移-变空间逼近。arXiv:2005.11949年。 [58] Yarotsky，D.（2017）。深度ReLU网络近似的误差界。神经网络，94103-114。谷歌学者搜索ADS·Zbl 1429.68260号 [59] Yarotsky，D.（2018）。用非常深的ReLU网络对连续函数进行最佳逼近。在S.Bubeck、V.Perchet和P.Rigollet（编辑），《机器学习研究院刊》（第639-649页）。谷歌学者 [60] Yarotsky，D.和Zhevnerchuk，A.（2019年）。深度神经网络近似率的相图。arXiv:1906.09477。 [61] Yin，P.、Lyu，J.、Zhang，S.、Osher，S.，Qi，Y.和Xin，J.（2019年）。理解激活量化神经网络训练中的直通估计器。arXiv:abs/1903.05662。 [62] 周大新（2020）。深度卷积神经网络的普遍性。应用和计算谐波分析，48（2），787-794。谷歌学者搜索ADS·Zbl 1434.68531号 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。