Daubechies，我。;R·德沃尔。;福卡特，S。;B.哈宁。;彼得罗娃，G。 非线性近似和（深层）ReLU网络。 （英语） Zbl 1501.41003号 施工。大约。 55，编号1，127-172（2022）. 作者讨论了ReLU（整流线性单位）网络的逼近能力，并研究了此类网络是否真的比经典逼近方法提供了更强大的逼近效率。这个问题的讨论是在单变量环境中进行的，因为在那里人们有最好的机会获得明确的结果。作者重点关注深度的优势，即深度网络中存在哪些浅层网络中没有的优势。审核人：Peter Masspaust（慕尼黑） 引用于39文件 理学硕士： 41A25型 收敛速度，近似度 41A30型 其他特殊函数类的近似 41A46型 任意非线性表达式的逼近；宽度和熵 68T07型 人工神经网络与深度学习 82立方32 神经网络在含时统计力学问题中的应用 92B20型 生物研究、人工生命和相关主题中的神经网络 关键词：神经网络;整流线性单元（ReLU）;表现力;近似功率 软件：GNMT公司;图像网络;AlexNet公司 PDF格式BibTeX公司 XML格式引用 \textit｛I.Daubechies｝等人，《宪法》。约55，编号1，127--172（2022；Zbl 1501.41003） 全文： 内政部 arXiv公司 参考文献： [1] Allaart，P.，Kawamura，K.：高木功能：一项调查。真实分析。交易所37（1），1-54（2011-2012）·Zbl 1248.26007号 [2] Bölcskei，H。；Grohs，P。；Kutyniok，G。；Petersen，P.，稀疏连接深度神经网络的最佳逼近，SIAM J.Math。数据科学。，1, 1, 8-45 (2019) ·Zbl 1499.41029号 ·doi:10.1137/18M118709X [3] Bronstein，M。；布鲁纳，J。；LeCun，Y。；Szlam，A。；Vandergheyn，P.，《几何深度学习：超越欧几里德数据》，IEEE信号处理。Mag.，34，4，18-42（2017）·doi:10.1109/MSP.2017.2693418 [4] Chui，C。；李，X。；Mhaskar，H.，局部逼近的神经网络，数学。计算。，63, 607-623 (1994) ·Zbl 0806.41020号 ·doi:10.1090/S0025-5718-1994-1240656-2 [5] Cybenko，G.，通过sigmoid函数的叠加进行逼近，数学。控制信号系统。（MCSS），2，4，303-314（1989）·Zbl 0679.94019号 ·doi:10.1007/BF02551274文件 [6] Daniely，A.，神经网络深度分离，Proc。机器。学习。研究（COLT），65，690-696（2017） [7] DeVore，R.，非线性近似，数值学报。，7, 51-150 (1998) ·Zbl 0931.65007号 ·doi:10.1017/S0962492900002816 [8] DeVore，R。；霍华德·R。；Michelli，C.，最佳非线性近似，手稿数学。，63, 469-478 (1989) ·Zbl 0682.41033号 ·doi:10.1007/BF01171759 [9] DeVore，R。；Kyriazis，G。；莱维坦，D。；Tikhomirov，VM，小波压缩和非线性n宽度，高级计算。数学。，197-214年1月（1993年）·Zbl 0824.65145号 ·doi:10.1007/BF02071385 [10] DeVore，R。；Lorentz，G.，《构造逼近》（1993），柏林：施普林格出版社，柏林·Zbl 0797.41016号 ·doi:10.1007/978-3-662-02888-9 [11] Wang，E。；王强，解析函数深度神经网络逼近的指数收敛性，科学。中国数学。，61, 1733-1740 (2018) ·Zbl 1475.65007号 ·doi:10.1007/s11425-018-9387-x [12] Grohs，P.，Perekerstenko，G.，Ebrächter，D.，Blöleskei，H.：深度神经网络近似理论。IEEE交易。Inf.Theory（2019年）。arXiv:1901.02220 [13] Hanin，B.，Sellke，M.：用最小宽度的ReLU网逼近连续函数（2017）。arXiv:1710.11278 [14] Hata，M.：《数学、模式和波中的分形——非线性微分方程的定性分析》，第259-278页。Elsevier，阿姆斯特丹（1986）·Zbl 0658.28003号 [15] Hebb，D.，《行为的组织：神经心理学理论》（1949年），霍博肯：威利 [16] 霍尼克，K。；Stinchcombe，M。；White，H.，多层前馈网络是通用逼近器，神经网络。，2, 5, 359-366 (1989) ·兹比尔1383.92015 ·doi:10.1016/0893-6080（89）90020-8 [17] Lu，J.，Shen，Z.，Yang，H.，Zhang，S.：光滑函数的深度网络近似（2020）。arXiv:2001.03040号·兹伯利07407717 [18] Kainen，P。；V.库尔科娃。；Vogt，A.，《神经网络近似不连续》，《神经计算》，29，47-56（1999）·doi:10.1016/S0925-2312（99）00111-3 [19] Krizhevsky，A.，Sutskever，I.，Hinton，G.：深度卷积神经网络的Imagenet分类。NIPS（2012） [20] LeCun，Y。；Y.本吉奥。；Hinto，G.，《深度学习》，《自然》，521，7553，436（2015）·doi:10.1038/nature14539 [21] Liang，S.，Srikant，R.：为什么用深层神经网络进行函数逼近？(2016). arXiv:1610.04161 [22] Mehrabi，M.，Tchamkerten，A.，Yousefi，M.：前馈神经网络逼近能力的界限。ICML（2018） [23] 哈斯卡，HN；Poggio，T.，《深层与浅层网络：近似理论视角》，Anal。申请。，14, 829-848 (2016) ·兹比尔1355.68233 ·doi:10.1142/S0219530516400042 [24] Poggio，T。；姆哈斯卡，H。；Rosasco，L。；米兰达，B。；Liao，Q.，《为什么以及何时深点浅网络可以避免维度诅咒：国际汽车杂志》。计算。，14, 5, 503-519 (2017) ·doi:10.1007/s11633-017-1054-2 [25] Rosenblatt，F.，《感知器：大脑中信息存储和组织的概率模型》，《心理学》。修订版，65、6、386（1958年）·doi:10.1037/h0042519 [26] Safran，I.，Shamir，O.：用神经网络逼近自然函数时的深度-宽度权衡（2017）。机器学习国际会议。PMLR，2017年 [27] Schwab，C.，Zech，J.：高维度的深度学习。www.sam.math.ethz.ch/sam-reports/reports-final/reports2017/2017-57-rev2.pdf·Zbl 1478.68309号 [28] 沙哈姆，美国。；Cloninger，A。；Coifman，R.，深度神经网络的可证明近似性质，应用。计算。谐波分析。，44, 3, 537-557 (2018) ·Zbl 1390.68553号 ·doi:10.1016/j.acha.2016.04.003 [29] Shen，Z.，Yang，H.，Zhang，S.：以神经元数量为特征的深网络近似（2019）。arXiv:1906.05497号·Zbl 1507.68276号 [30] 西尔弗·D。；Huang，A。；Maddison，C。；A.盖兹。；Sifre，L。；Van Den Driessche，G。；Schrittwieser，J。；安东尼奥卢，I。；Panneershelvam，V。；Lanctot，M.，《利用深度神经网络和树搜索掌握围棋游戏》，《自然》，529，7587，484-489（2016）·doi:10.1038/nature16961 [31] 西尔弗·D。；Schrittwieser，J。；Simonyan，K。；安东尼奥卢，I。；黄，A。；A.盖兹。；休伯特，T。；贝克，L。；赖，M。；博尔顿，A.，《在没有人类知识的情况下掌握围棋游戏》，《自然》，5507676354（2017）·doi:10.1038/nature24270 [32] 斯坦因，E。；Shakarchi，R.，傅里叶分析（2003），普林斯顿：普林斯顿大学出版社，普林斯顿·Zbl 1026.42001号 [33] Telgarsky，M.：深度前馈网络的代表效益（2015年）。arXiv:1509.08101 [34] Wu，Y.，Schuster，M.，Chen，Z.，Le，Q.，Norouzi，M.、Macherey，W.、Krikun，M.和Cao，Y.、Gao，Q.、Macheree，K.等人：谷歌的神经机器翻译系统：架起人与机器翻译之间的桥梁（2016）。arXiv:1609.08144 [35] 山古提，M。；Hata，M.，《Weirstrass函数与混沌》，北海道。数学。J.，12，333-342（1983）·兹bl 0522.26006 ·doi:10.14492/hokmj/1470081010 [36] Yarotsky，D.，深度ReLU网络近似的误差界，神经网络。，94, 103-114 (2017) ·兹比尔1429.68260 ·doi:10.1016/j.neunet.2017.07.002 [37] Yarotsky，D.：深度神经网络近似中不连续权重选择的量化优势（2017）。arXiv:1705.01365·兹比尔1429.68260 [38] Yarotsky，D.：通过深度ReLU网络对连续函数的最佳逼近，In:Bubeck S，Perchet V，Rigollet P（eds.）《第31届学习理论会议论文集》，《机器学习研究院论文集》第75卷，第639-649页。PMLR，2018年7月6日至9日。arXiv:1802.03620 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。