×
弗朗西丝卡·巴托卢奇;埃内斯托·德·维托;洛伦佐·罗萨斯科;斯特凡诺·维戈尼亚

用再生核Banach空间理解神经网络。 （英语） Zbl 1511.46015号

申请。计算。哈蒙。分析。 62, 194-236 (2023).
概述：描述神经网络对应的函数空间可以提供一种理解其属性的方法。在本文中，我们讨论了如何利用再生核Banach空间理论来解决这一挑战。特别地，我们证明了一类广泛的再生核Banach空间的表示定理，这些再生核Banache空间具有合适的积分表示，并且包含一个可能无限宽的隐层神经网络。进一步，我们证明，对于一类合适的ReLU激活函数，相应再生核Banach空间中的范数可以用有界实测度的逆Radon变换来刻画，范数由测度的总变差范数给出。我们的分析简化并扩展了[P.萨瓦雷斯等，“无限宽有界范数网络在函数空间中的表现如何？”，Proc。机器。学习。研究（PMLR）99，2667–2690（2019），https://proceedings.mlr.press/v99/savarese19a.html;G.昂吉等人，“有界范数无限宽ReLU网的函数空间视图：多元情况”，预印本，arXiv:1910.01635;R.帕希和R.D.诺瓦克，J.马赫。学习。第22号决议，第43号论文，40页（2021年；兹比尔1507.68250)].

引用于4文件

理学硕士：

46 E22型 具有再生核的希尔伯特空间（=（适当的）函数希尔伯特空间，包括de Branges-Rovnyak和其他结构空间）
68T07型 人工神经网络与深度学习

关键词：

神经网络;再生核Banach空间;代表定理;Radon变换

引文：

Zbl 1507.68250号

软件：

PDCO公司
PDF格式BibTeX公司 XML格式引用
\textit{F.Bartolucci}等人，应用。计算。哈蒙。分析。62194-236（2023年；Zbl 1511.46015）
全文： 内政部 arXiv公司

参考文献：

[1] Aronszajn，N.，《再生核理论》，译。美国数学。Soc.，68，337-404（1950）·Zbl 0037.20701号
[2] 阿齐兹内贾德，S。；Unser，M.，稀疏约束多核回归，SIAM J.Math。数据科学。，3, 1, 201-224 (2021) ·Zbl 1479.46026号
[3] 巴赫，F.，《用凸神经网络打破维度诅咒》，J.马赫。学习。第18、19、1-53号决议（2017年）·Zbl 1433.68390号
[4] Barron，A.R.，人工神经网络的近似和估计界，马赫数。学习。，14, 1, 115-133 (1994) ·Zbl 0818.68127号
[5] Barron，A.R.，σ函数叠加的通用近似界，IEEE Trans。Inf.理论，39，3，930-945（1993）·Zbl 0818.68126号
[6] 贝尔金，M。；徐，D。；马，S。；Mandal，S.，《协调现代机器学习实践和经典偏差-方差权衡》，Proc。国家。阿卡德。科学。，116, 32, 15849-15854 (2019) ·Zbl 1433.68325号
[7] Boyer，C。；Chambolle，A。；卡斯特罗，Y.D。；杜瓦尔，V。；德古尔奈，F。；Weiss，P.，《关于表示定理和凸正则化》，SIAM J.Optim。，29, 2, 1260-1281 (2019) ·Zbl 1423.49036号
[8] Bredies，K。；Carioni，M.，有限维数据变分反问题解的稀疏性，计算变量部分微分。Equ.、。，59, 14 (2020) ·兹比尔1430.49036
[9] Brezis，H.，泛函分析，Sobolev空间和偏微分方程，Universitext（2011），Springer:Springer New York，pp.xiv+599·Zbl 1220.46002号
[10] 卡梅利，C。；De Vito，E。；厕所，A。；Umanitá，V.，向量值再现核Hilbert空间和普适性，分析。申请。，8, 01, 19-61 (2010) ·Zbl 1195.46025号
[11] 陈，S.S。；Donoho，D.L。；桑德斯，M.A.，《基追踪原子分解》，SIAM Rev.，43，1，129-159（2001）·Zbl 0979.94010号
[12] Chizat，L。；巴赫，F.，用逻辑损失训练的宽双层神经网络梯度下降的隐式偏差，（学习理论会议。学习理论会议，PMLR（2020）），1305-1338
[13] 组合，P.L。；Salzo，S。；Villa，S.，《安纳州巴纳赫特色空间的正规化学习计划》。申请。，16, 1, 1-54 (2018) ·Zbl 1378.62015号
[14] Cucker，F。；Smale，S.，《学习的数学基础》，布尔。美国数学。Soc.，39，1-49（2002）·Zbl 0983.68162号
[15] Cybenko，G.，通过sigmoid函数的叠加进行逼近，数学。控制信号系统。，2, 303-314 (1989) ·兹伯利0679.94019
[16] 费希尔，S。；Jerome，J.W.，单变量和多变量L1极值问题的样条解，J.近似理论，13，1，73-83（1975）·Zbl 0295.49002号
[17] 古德费罗，I。；Y.本吉奥。；A.Courville，《深度学习》（2016），麻省理工学院出版社·Zbl 1373.68009号
[18] Gribonval，R。；Kutyniok，G。；尼尔森，M。；Voigtlaender，F.，深度神经网络的近似空间，（构造近似（2021）），1-109
[19] Györfi，L。；科勒，M。；Krzyzak，A。；Walk，H.，非参数回归的无分布理论（2002），Springer·Zbl 1021.62024号
[20] Helgason，S.，欧几里德空间上的Radon变换，紧两点齐次空间和Grassmann流形，数学学报。，113, 153-180 (1965) ·Zbl 0163.16602号
[21] Helgason，S.，《氡变换》，《数学进展》，第5卷（1999），Birkhäuser Boston，Inc.：Birkháuser波士顿，Inc.马萨诸塞州波士顿·Zbl 0932.43011号
[22] Hertle，A.，关于Radon变换及其对偶数学的范围。Ann.，267，1，91-99（1984）·Zbl 0554.46016号
[23] Holschneider，M.，《小波》。《分析工具》，牛津数学专著（1995），克拉伦登出版社，牛津大学出版社：克拉伦登出版公司，牛津大学出版公司，纽约·Zbl 0874.42020
[24] Kilbas，A.A。；马里切夫，O。；Samko，S.，分数积分和导数，理论应用。(1993) ·Zbl 0818.26003号
[25] Kimeldorf，G.S。；Wahba，G.，《随机过程贝叶斯估计与样条曲线平滑之间的对应关系》，《数学年鉴》。《法律总汇》第41、2、495-502页（1970年）·Zbl 0193.45201号
[26] Kimeldorf，G。；Wahba，G.，关于切比雪夫样条函数的一些结果，J.Math。分析。申请。，33, 1, 82-95 (1971) ·Zbl 0201.39702号
[27] Kostadinova，S。；Pilipović，S。；萨尼娃，K。；Vindas，J.，分布的脊波变换，积分变换特殊函数。，25, 5, 344-358 (2014) ·Zbl 1291.44011号
[28] Krogh，A。；Hertz，J.，简单的重量衰减可以改善泛化，（Moody，J.；Hanson，S.；Lippmann，R.P.，《神经信息处理系统的进展》，第4卷（1992），Morgan-Kaufmann）
[29] 林·R。；张，H。；Zhang，J.，关于再生核Banach空间：一般定义和构造的统一框架（2019）
[30] 路德维希，D.，欧几里德空间上的氡变换，Commun。纯应用程序。数学。，19, 1, 49-81 (1966) ·Zbl 0134.11305号
[31] 米切利，C.A。；Xu，Y。；Zhang，H.，Universal kernels，J.Mach。学习。研究，7，95，2651-2667（2006）·Zbl 1222.68266号
[32] Muandet，K。；Fukumizu，K。；Sriperumbudur，B。；Schölkopf，B.，Kernel表示发行版的嵌入：回顾与展望（2016），预印本
[33] Natterer，F.，《计算机断层成像的数学》（2001），SIAM·Zbl 0973.92020号
[34] Neal，R.M.，《神经网络贝叶斯学习》，第118卷（2012），施普林格科学与商业媒体
[35] Neyshabur，B。；Salakhutdinov，R.R。；Srebro，N.，Path-SGD:深度神经网络中的路径规范化优化，（Cortes，C.；Lawrence，N.；Lee，D.；Sugiyama，M.；Garnett，R.，《神经信息处理系统的进展》，第28卷（2015），Curran Associates，Inc.）
[36] Ongie，G。；Willett，R。；Soudry，D。；Srebro，N.，有界范数无限宽ReLU网的函数空间视图：多元情况（2019）
[37] 帕希，R。；Nowak，R.D.，神经网络和脊样条的Banach空间表示定理，J.Mach。学习。第22、43、1-40号决议（2021年）·Zbl 1507.68250号
[38] Pinkus，A.，神经网络中MLP模型的近似理论，《数值学报》。，8, 143-195 (1999) ·Zbl 0959.68109号
[39] 奎，Q。；Belkin，M.，《回到未来：重新审视径向基函数网络》，（人工智能与统计，人工智能与统计学，PMLR（2016）），1375-1383
[40] 拉希米，A。；Recht，B.，《大型内核机器的随机特性》，高级神经信息处理。系统。，20 (2008)
[41] Rosset，S。；Swirszcz，G。；斯雷布罗，N。；Zhu，J.，（\ell_1）无限维特征空间中的正则化，（计算学习理论国际会议（2007），Springer），544-558·兹比尔1203.68167
[42] Rosset，S。；朱，J。；Hastie，T.，Boosting作为最大边缘分类器的正则化路径，J.Mach。学习。第5941-973号决议（2004年）·Zbl 1222.68290号
[43] Rudi，A。；Rosasco，L.，随机特征学习的泛化特性，（神经信息处理系统会议，第31卷（2017）），3215-3225
[44] Rudin，W.，《函数分析，纯数学和应用数学国际丛书》（1991），McGraw-Hill公司：McGraw-Hill公司，纽约，第xviii+424页·Zbl 0867.46001号
[45] 萨瓦雷斯，P。；埃夫隆，I。；Soudry，D。；Srebro，N.，无限宽有界范数网络在函数空间中的表现如何？，（学习理论会议。学习理论会议，PMLR（2019）），2667-2690
[46] 朔尔科普夫，B。；Herbrich，R。；Smola，A.J.，《广义代表定理》（计算学习理论国际会议（2001），施普林格），416-426·Zbl 0992.68088号
[47] 朔尔科普夫，B。；Smola，A.J.，《使用内核学习：支持向量机、正则化、优化和超越》（2002），麻省理工学院出版社
[48] Schwartz，L.，《发行理论》（Publications de L L’Institut de Mathématique de L’Universityéde Strasbourg，No.IX-X.No.No.Nouvelleéedition，entièrement corrigeée，refondue et engregateée（1966），赫尔曼：赫尔曼巴黎），第xiiiii+420页·Zbl 0149.09501号
[49] Song，G。；Zhang，H.，用（ell^1）范数再生核Banach空间II：正则化最小二乘回归的误差分析，神经计算。，23, 10, 2713-2729 (2011) ·Zbl 1231.68219号
[50] Song，G。；张，H。；Hickernell，F.J.，用\（ell^1）范数复制内核Banach空间，应用。计算。哈蒙。分析。，34, 1, 96-116 (2013) ·Zbl 1269.46020号
[51] 斯坦瓦特，I。；Christmann，A.，支持向量机（2008），Springer-Verlag:Springer-Verlag New York·Zbl 1203.68171号
[52] Tibshirani，R.，通过Lasso，J.R.Stat.Soc.B进行回归收缩和选择，58，1，267-288（1996）·Zbl 0850.62538号
[53] Triebel，H.，《函数空间理论》，现代Birkhä用户经典，285（2010），Birkháuser/Springer:Birkhöuser/Stringer Basel AG，巴塞尔·Zbl 1235.46002号
[54] Unser，M.，发现了反问题和机器学习的统一表示定理。计算。数学。，1-20 (2020)
[55] Unser，M。；Fageot，J。；Ward，J.P.，《样条是具有广义TV正则化的线性反问题的通用解》，SIAM Rev.，59，4，769-793（2017）·Zbl 1382.41011号
[56] Vapnik，V.，《统计学习理论》（1998），威利·兹比尔0935.62007
[57] Wendland，H.，《分散数据近似》，第17卷（2004），剑桥大学出版社
[58] Xu，Y。；Ye，Q.，广义Mercer核与再生核Banach空间，第258卷（2019），美国数学学会·兹比尔1455.68009
[59] 张，C。；Bengio，S。；Hard，M。；Recht，B。；Vinyals，O.，理解深度学习需要重新思考泛化，（国际学习表征会议（2017）），1-15
[60] 张，H。；Xu，Y。；Zhang，J.，《为机器学习复制内核Banach空间》，J.Mach。学习。研究，10，95，2741-2775（2009）·Zbl 1235.68217号
[61] Zuhovickii，S.，关于近似理论问题的评论，Mat.Zbirnik KDU，169-183（1948）
此参考列表基于出版商或数字数学图书馆提供的信息。它的项目与zbMATH标识符启发式匹配，并且可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。