×
E、 渭南;Stephan Wojtowytsch

Barron函数的表示公式和逐点性质。 （英语） Zbl 1482.41013号

计算变量部分差异。埃克。 61，第2号，第46号论文，37页（2022年）.
摘要：我们研究了具有ReLU激活的无限宽双层神经网络的自然函数空间（Barron空间），并建立了不同的表示公式。在两种情况下，我们将空间显式地描述为同构。利用一种方便的表示，我们研究了双层网络的点态性质，并证明了奇异集为分形或曲线的函数（例如光滑子流形的距离函数）不能用具有有限路径形式的无限宽双层网络来表示。我们利用这个结构定理证明了保持Barron空间的唯一（C^1）-微分同态是仿射的。此外，我们证明了每个Barron函数都可以分解为一个有界函数和一个正单齐次函数的和，并且存在在无穷远处迅速衰减的全局Lebesgue积分的Barron方程。这一结果表明，双层神经网络可能能够逼近比通常认为的更多种类的函数。

引用于13文件

MSC公司：

41A30型 其他特殊函数类的近似
26层35 多变量函数的特殊性质、Hölder条件等。
26B40码 函数的表示和叠加
46埃15 连续、可微或解析函数的Banach空间
68T07型 人工神经网络与深度学习

关键词：

巴伦空间;功能空间;函数近似
PDF格式BibTeX公司 XML格式引用
\textit{W.E}和\textit{S.Wojtowytsch}，计算变量部分差异。埃克。61，第2号，第46号论文，37页（2022年；Zbl 1482.41013）
全文： DOI程序 arXiv公司

参考文献：

[1] Cybenko，G.，通过sigmoid函数的叠加进行逼近，数学。控制信号系统。，2, 4, 303-314 (1989) ·Zbl 0679.94019号 ·doi:10.1007/BF02551274
[2] Leshno，M。；林，VY；Pinkus，A。；Schocken，S.，具有非多项式激活函数的多层前馈网络可以近似任何函数，神经网络。，6, 6, 861-867 (1993) ·doi:10.1016/S0893-6080（05）80131-5
[3] Barron，AR，σ函数叠加的通用近似界，IEEE Trans。Inf.理论，39，3，930-945（1993）·Zbl 0818.68126号 ·doi:10.1109/18.256500
[4] Breiman，L.，回归、分类和函数逼近的铰链超平面，IEEE Trans。Inf.理论，39，3，999-1013（1993）·Zbl 0793.62031号 ·数字对象标识代码：10.1109/18.256506
[5] Klusowski，JM；Barron，AR，具有\（\ell^1\）和\（\ell^0\）控制的relu和平方relu脊函数组合的近似，IEEE Trans。Inf.理论，64，12，7649-7656（2018）·Zbl 1432.41003号 ·doi:10.1109/TIT.2018.2874447
[6] Dobrowolski，M.，Angewandte功能分析：功能分析（2010），纽约：Springer-Verlag Sobolev-Räume und elliptische Differentialgleichungen，纽约·Zbl 1218.46002号 ·doi:10.1007/978-3642-15269-6
[7] E、 W.，Ma，C.，Wu，L.：双层神经网络人口风险的先验估计。Commun公司。数学。科学。17（5）：1407-1425（2019），arxiv:1810.06397[cs.LG]（2018）·Zbl 1427.68277号
[8] E、 W.，Ma，C.，Wu，L.：神经网络模型的巴伦空间和合成函数空间。arXiv:1906.08039[cs.LG]，（2019）
[9] E、 W.，Ma，C.，Wu，L.：从持续的角度进行机器学习。arxiv:1912.12777[math.NA]，（2019）·Zbl 1472.68136号
[10] E、 W.，Wojtowytsch，S.：机器学习中的Kolmogorov宽度衰减和较差逼近器：浅层神经网络、随机特征模型和神经切线核。Res.数学。科学。8(1), 1-28 (2021) ·Zbl 07307666号
[11] 巴赫，F.，《用凸神经网络打破维度诅咒》，J.马赫。学习。第18号、第1号、第629-681号决议（2017年）·Zbl 1433.68390号
[12] Klusowski，J.M.，Barron，A.R.：包括神经网络在内的高维岭函数组合的风险边界。arXiv预输入rXiv:1607.01434，（2016）
[13] Wojtowytsch，S.，E，W.：浅层神经网络能战胜维数的诅咒吗？平均场训练视角。IEEE传输。Artif公司。智力。1(2), 121-129 (2020)
[14] E.渭南。；Wojtowytsch，S.，《关于与无限宽多层ReLU网络相关联的Banach空间》，CSIAM Trans。申请。数学。，1, 3, 387-440 (2020)
[15] Chizat，L.，Bach，F.：关于使用最优传输的超参数模型梯度下降的全局收敛性。在：《神经信息处理系统的进展》，第3036-3046页，（2018）
[16] 梅，S。；Montanari，A。；Nguyen，P-M，双层神经网络景观的平均场视图，Proc。国家。阿卡德。科学。，115、33、E7665-E7671（2018）·Zbl 1416.92014号 ·doi:10.1073/pnas.1806579115
[17] Rotskoff，G.M.，Vanden-Eijnden，E.：作为相互作用粒子系统的神经网络：损失景观的渐近凸性和近似误差的普适标度。arXiv:1805.00915[stat.ML]，2018年
[18] 西里尼亚诺，J。；Spiliopoulos，K.，《神经网络的平均场分析：大数定律》，SIAM J.Appl。数学，80，2725-752（2020）·兹比尔1440.60008 ·doi:10.1137/18M1192184
[19] Nguyen，P.M.，Pham，H.T.：多层神经网络平均场极限的严格框架。arXiv:20011.11443[cs.LG]，2020年
[20] Brezis，H.，《功能分析》。Sobolev空间和偏微分方程（2011），纽约：Universitext。纽约州施普林格·Zbl 1220.46002号 ·数字对象标识代码：10.1007/978-0-387-70914-7
[21] 伊文斯，LC；Gariepy，RF，《函数的测量理论和精细特性》（2015），佛罗里达：CRC出版社，佛罗里达·Zbl 1310.28001号 ·doi:10.1201/b18333
[22] 约旦共和国。；Kinderlehrer，D。；Otto，F.，Fokker-Planck方程的变分公式，SIAM J.Math。分析。，29, 1, 1-17 (1998) ·Zbl 0915.35120号 ·doi:10.1137/S0036141096303359
[23] Wojtowytsch，S.：关于平均场状态下双层Relu网络梯度下降训练的全局收敛性。arXiv:2005.13530[math.AP]，（2020）
[24] Attouch，H.，Buttazzo，G.，Michaille，G.：Sobolev和BV空间中的变分分析：在偏微分方程和优化中的应用。SIAM（2014）·Zbl 1311.49001号
[25] Klenke，A.，Wahrscheinlichkeits theorie（2006），纽约：Springer，纽约·Zbl 1103.60001号
[26] Ambrosio，L.，非光滑向量场的输运方程和柯西问题，变分微积分和非线性偏微分方程，1-41（2008），纽约：施普林格，纽约·Zbl 1159.35041号 ·doi:10.1007/978-3-540-75914-0
[27] Caragea，A.，Petersen，P.，Voigtlaender，F.：神经网络近似和barron类中分类边界分类器的估计。arXiv:2011.09363[math.FA]，（2020）
[28] Siegel，J.W.，Xu，J.：\（\text｛relu｝^k\）和余弦网络的最优逼近率和度量熵。arXiv-printarXiv:2101.123652021
[29] 卢，Z。：关于ghhs表示能力的一个注记。arXiv预输入rXiv:2101.11286，（2021）
[30] Wojtowytsch，S.，E，W.：关于barron和多层空间中偏微分方程的一些观察。arXiv预输入rXiv：2012.014842020
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。