×
E、 渭南;Stephan Wojtowytsch

机器学习中的Kolmogorov宽度衰减和较差逼近器：浅层神经网络、随机特征模型和神经切线核。 （英语） Zbl 07307666号

Res.数学。科学。 8，第1号，第5号论文，28页（2021年）.
摘要：在线性映射序列在一个子空间上收敛得更快的条件下，我们在给定Banach空间的子空间之间建立了Kolmogorov宽度型的尺度分离。然后应用一般技术证明了再生核Hilbert空间是高维二层神经网络类的弱L^2逼近器，具有小路径范数的多层网络是某些Lipschitz函数的弱逼近器，也在L^2拓扑中。

引用于9文件

MSC公司：

68T07型 人工神经网络与深度学习
41A30型 其他特殊函数类的近似
41A65型 抽象近似理论（赋范线性空间和其他抽象空间中的近似）
46埃15 连续、可微或解析函数的Banach空间
46 E22型 具有再生核的希尔伯特空间（=（适当的）函数希尔伯特空间，包括de Branges-Rovnyak和其他结构空间）

关键词：

维数灾难;双层网络;多层网络;人口风险;巴伦空间;再生核希尔伯特空间;随机特征模型;神经切线核;科尔莫戈罗夫宽度;近似理论
PDF格式BibTeX公司 XML格式引用
\textit{W.E}和\textit{S.Wojtowytsch}，研究数学。科学。8，第1号，第5号论文，28页（2021；Zbl 07307666）
全文： 内政部 arXiv公司

参考文献：

[1] Arora，S.，Du，S.S.，Hu，W.，Li，Z.，Salakhutdinov，R.R.，Wang，R.：关于无限宽神经网络的精确计算。摘自：《神经信息处理系统进展》，第8139-8148页（2019年）
[2] 巴赫，F.，《用凸神经网络打破维度诅咒》，J.马赫。学习。第18号、第1号、第629-681号决议（2017年）·Zbl 1433.68390号
[3] Barron，AR，σ函数叠加的通用近似界，IEEE Trans。Inf.理论，39，3，930-945（1993）·Zbl 0818.68126号 ·doi:10.1109/18.256500
[4] Brezis，H.，《功能分析》。Sobolev空间和偏微分方程。Universitext（2011），纽约：Springer，纽约·Zbl 1220.46002号
[5] Cho，Y.，Saul，L.K.：深度学习的核心方法。摘自：神经信息处理系统进展，第342-350页（2009年）
[6] Cybenko，G.，S形函数的叠加逼近，数学。控制信号系统。，2, 4, 303-314 (1989) ·Zbl 0679.94019号 ·doi:10.1007/BF02551274文件
[7] Du，S.S.，Lee，J.D.，Li，H.，Wang，L.，Zhai，X.：梯度下降法发现深层神经网络的全局极小值。arXiv:1811.03804[cs.LG]（2018）
[8] Dobrowolski，M.：Angewandte功能分析：功能分析。Springer，Sobolev-Räume und elliptische Differentialgleichungen（2010）·Zbl 1218.46002号
[9] Du，S.S.，Zhai，X.，Poczos，B.，Singh，A.：梯度下降可证明优化了过参数化神经网络。arXiv:1810.02054[cs.LG]（2018）
[10] E、 W。；马，C。；Wu，L.，双层神经网络人口风险的先验估计，Commun。数学。科学。，17, 5, 1407-1425 (2019) ·Zbl 1427.68277号 ·doi:10.4310/CMS.2019.v17.n5.a11
[11] E、 W.，Ma，C.，Wang，Q.：剩余网络人口风险的先验估计。arXiv:1903.02154[cs.LG]（2019）
[12] E、 W.，Ma，C.，Wu，L.：神经网络模型的巴伦空间和合成函数空间。arXiv:1906.08039[cs.LG]（2019）
[13] E、 W.，Ma，C.，Wu，L.：从持续的角度进行机器学习。arXiv:1912.12777[math.NA]（2019）
[14] E、 W。；马，C。；Wu，L.，梯度下降动力学下两层神经网络和随机特征模型的优化和泛化特性的比较分析，科学。中国数学。(2019) ·Zbl 1453.68163号 ·doi:10.1007/s11425-019-1628-5
[15] E、 W.，Ma，C.，Wang，Q.，Wu，L.：带跳跃连接的深度神经网络模型的梯度下降算法分析。arXiv:1904.05263[cs.LG]（2019）
[16] E、 W.，Wojtowytsch，S.：关于与无限宽多层ReLU网络相关联的Banach空间。arXiv:2007.15623[stat.ML]（2020）
[17] 福尼尔，N。；Guillin，A.，关于经验度量的Wasserstein距离的收敛速度，Probab。理论相关领域，162，3-4，707-738（2015）·Zbl 1325.60042号 ·doi:10.1007/s00440-014-0583-7
[18] Gribonval，R.，Kutyniok，G.，Nielsen，M.，Voigtlaender，F.：深度神经网络的近似空间。arXiv:1905.01208[math.FA]（2019）
[19] Hornik，K.，多层前馈网络的逼近能力，神经网络。，4, 2, 251-257 (1991) ·doi:10.1016/0893-6080（91）90009-T
[20] Jacot，A.，Gabriel，F.，Hongler，C.：神经切线核：神经网络中的收敛和泛化。摘自：《神经信息处理系统进展》，第8571-8580页（2018年）
[21] Lorentz，G.，《函数逼近》（1966），纽约：霍尔特、莱茵哈特和温斯顿出版社，纽约·兹伯利0153.38901
[22] Lee，J.、Xiao，L.、Schoenholz，S.、Bahri，Y.、Novak，R.、Sohl-Dickstein，J.和Pennington，J.：任意深度的宽神经网络在梯度下降下演化为线性模型。在：神经信息处理系统的进展，第8570-8581页（2019）
[23] Rahimi，A.，Recht，B.：具有随机基的函数的一致逼近。摘自：2008年第46届Allerton通信、控制和计算年会，第555-561页。IEEE（2008）
[24] 沙列夫·施瓦茨，S。；Ben-David，S.，《理解机器学习：从理论到算法》（2014），剑桥：剑桥大学出版社，剑桥·Zbl 1305.68005号 ·doi:10.1017/CBO9781107298019
[25] 维拉尼，C.，《最佳交通：新旧》（2008），柏林：施普林格出版社，柏林·Zbl 1156.53003号
[26] Wojtowytsch，S.，E，W.：浅层神经网络能战胜维数的诅咒吗？平均现场培训视角。arXiv:2005.10815[cs.LG]（2020）
[27] Yang，G.：具有权重分担的宽神经网络的缩放极限：高斯过程行为、梯度独立性和神经切线核求导。arXiv:1902.04760[cs.NE]（2019）
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。