帮助
登录
注册
主页
问题
第11卷第1期(2024年)
定量函数中心极限。。。
现代随机学:理论与应用
提交你的文章
问询处
成为同行评审员
文章信息
全文
相关文章
更多
文章信息
全文
相关文章
浅层神经网络的一个定量泛函中心极限定理
第11卷,第1期(2024年),第85–108页
瓦伦蒂娜·卡马罗塔
多梅尼科·马里努奇
米歇尔·萨尔维
斯特凡诺·维戈尼亚
作者
占位符
https://doi.org/10.15559/23-VMSTA238
出版物。
在线:
2023年11月28日
类型:
研究文章
开放式访问
收到
2023年7月5日
修订过的
2023年10月23日
认可的
2023年11月15日
出版
2023年11月28日
摘要
我们证明了具有泛型激活函数的单层神经网络的定量泛函中心极限定理。
我们的收敛速度在很大程度上取决于激活函数的光滑性,它们的范围从不可微非线性的对数(如ReLu)到
$\sqrt{n}$
用于高度定期的激活。
我们的主要工具基于Stein–Malliavin方法的功能版本;
特别是,我们依赖于Bourgin和Campese[Electron.J.Probab.25(2020),150]最近建立的定量泛函中心极限定理。
工具书类
[1]
Azmoodeh,E.,Peccati,G.,Yang,X.:Malliavin-Stein方法:一些最新发展的调查。
国防部。
斯托克。
理论应用。
8(2),141–177(2021)。
4279874令吉
.
https://doi.org/10.15559/21-vmsta184
[2]
巴赫,F。:用凸神经网络打破维度诅咒。
J.马赫。
学习。
第18(19)号决议,1-53(2017)。
MR3634886号
[3]
Basteri,A.,Trevisan,D.:随机初始化深度神经网络的定量高斯近似(2022)。
arXiv公司:2203.07379
[4]
Belkin,M.,Hsu,D.,Ma,S.,Mandal,S.:调和现代机器学习实践和经典偏差-方差权衡。Proc。
国家。
阿卡德。
科学。
美国116(32),15849–15854(2019)。
MR3997901号
.
https://doi.org/10.1073/pnas.1903070116
[5]
Bietti,A.,Bach,F.:对于内核体制中的ReLu网络,深度等于浅层。
参加:国际学习代表大会(ICLR),9(2021)
[6]
Bordino,A.,Favaro,F.,Fortini,S.:通过二阶Poincaré不等式对高斯神经网络进行非症状近似(2023)。
arXiv:2304.04010
[7]
Bourguin,S.、Campese,S.,Leonenko,N.、Taqqu,M.S.:马尔可夫混沌的四矩定理。
安·普罗巴伯。
47(3), 1417–1446 (2019).
MR3945750型
.
https://doi.org/10.1214/18-AOP1287
[8]
Bourguin,S.,Campese,S.:Dirichlet结构上Hilbert值Gaussian的近似。
电子。
J.概率。
25、150(2020年),30页。
MR4193891号
.
https://doi.org/10.1214/20-ejp551
[9]
Chizat,L.,Oyallon,E.,Bach,F.:关于微分编程中的懒惰训练。
摘自:神经信息处理系统进展32(NeurIPS 2019)(2019)。
[10]
Cybenko,G.:通过sigmoid函数的叠加进行逼近。
数学。
控制信号系统。
2(4), 303–314 (1989).
MR1015670型
.
https://doi.org/10.1007/BF02551274
[11]
Daniely,A.,Frostig,R.,Singer,Y.:深入理解神经网络:初始化的力量和表达的双重观点。
In:NeurIPS 2016,第29卷,2253–2261(2016)
[12]
Döbler,C.,Kasprzak,M.,Peccati,G.:多元函数de Jong CLT。
普罗巴伯。
理论关联。
字段184(1-2)、367–399(2022)。
MR4498513型
.
https://doi.org/10.1007/s00440-022-01114-3
[13]
Eldan,R.,Mikulincer,D.,Schramm,T.:高斯过程对神经网络的非渐近近似(2021)。
arXiv公司:2102.08668
[14]
Goel,S.,Karmalkar,S.,Klivans,S.A.:关于高斯边缘学习ReLu的时间/准确性权衡。
收录于:NeurIPS 2019,第8582–8591页(2019)
[15]
Hanin,B.:无限宽度极限下的随机神经网络,如高斯过程(2021)。
arXiv:2107.01562
[16]
Hornik,K.:多层前馈网络是通用逼近器。
神经网络。
2(5), 359–366 (1989).
https://doi.org/10.1016/0893-6080
(89)90020-8
[17]
Hornik,K.:多层前馈网络的近似能力。
神经网络。
4(2), 251–257 (1991).
https://doi.org/10.1016/0893-6080
(91)90009-T
[18]
Jacot,A.,Gabriel,F.,Hongler,C.:神经切线核:神经网络中的收敛和泛化。
主题:神经信息处理系统进展31(NeurIPS 2018)(2018)。
[19]
Klukowski,A.:多项式网络到高斯过程的收敛速度(2021)。
arXiv:2111.03175
[20]
Ledoux,M.,Nourdin,I.,Peccati,G.:Stein方法,对数Sobolev和输运不等式。
地理。
功能。
分析。
25(1), 256–306 (2015).
MR3320893型
.
https://doi.org/10.1007/s00039-015-0312-0
[21]
Leshno,M.,Lin,V.Ya。,
Pinkus,A.,Schocken,S.:具有非多项式激活函数的多层前馈网络可以近似任何函数。
神经网络。
6(6), 861–867 (1993).
https://doi.org/10.1016/S0893-6080
(05)80131-5
[22]
Marinucci,D.,Peccati,G.:球面上的随机场。
剑桥大学出版社(2011)。
MR2840154型
.
https://doi.org/10.1017/CBO9780511751677
[23]
Neal,R.M.:无限网络的先验。
摘自:神经网络贝叶斯学习,第29-53页。
Springer,纽约州纽约市(1996年)。
https://doi.org/10.1007/978-1-4612-0745-0_2
[24]
Nourdin,I.,Peccati,G.:关于Wiener混沌的Stein方法。
普罗巴伯。
理论关联。
字段145(1-2)、75–118(2009)。
MR2520122
.
https://doi.org/10.1007/s00440-008-0162-x
[25]
Nourdin,I.,Peccati,G.:Malliavin微积分的正规逼近。
从斯坦因方法到普遍性。
剑桥数学丛书。,
第192卷。
剑桥大学出版社,剑桥(2012)。
MR2962301型
.
https://doi.org/10.1017/CBO9781139084659
[26]
Pinkus,A.:神经网络中MLP模型的近似理论。
《数值学报》(1999)。
MR1819645型
.
https://doi.org/10.1017/S0962492900002919
[27]
Rahimi,A.,Recht,B.:大型内核机器的随机特性。
In:神经信息处理系统进展20(NeurIPS 2007)(2007)
[28]
Roberts,Yaida S,D.A.,Hanin,B.:深度学习理论的原则(2021)。
arXiv:2106.10165
[29]
Yaida,S.:有限宽度的非高斯过程和神经网络(2019)。
arXiv:1910.00019
.
MR4198759
.
https://doi.org/10.1007/s40687-020-00233-4
[30]
Zhang,C.,Bengio,S.,Hardt,M.,Recht,B.,Vinyals,O.:理解深度学习需要重新思考泛化。
参加:第五届国际学习代表大会(2017年)
全文
相关文章
下载
PDF格式
XML格式
引用
全文
相关文章
下载
PDF格式
XML格式
引用
版权
©2024作者。
VTeX发布
在CC BY许可证下打开访问文章。
关键词
定量泛函中心极限定理
Wiener-chaos扩展
神经网络
高斯过程
MSC2010年
2017年1月60日
68T07型
60G60型
基金
这项工作得到了MUR卓越部门项目的部分支持
TOV下的MatMod
授予罗马大学Tor Vergata数学系,CUP E83C18000100006。
我们还感谢MUR 2022 PRIN项目GRAFIA、项目代码202284Z9E4、INdAM集团GNAMPA和PNRR CN1 High Performance Computing,Spoke 3的财务支持。
韵律学
自2018年3月起
320
文章信息
意见
61
全文
意见
89
PDF格式
下载
23
XML格式
下载
导出引文
复制并粘贴格式化的引文
格式化引文
占位符
引文样式
AMS——美国数学学会
APA——美国心理协会第6版。
芝加哥——芝加哥风格手册第17版。
下载文件中的引文
导出格式
BibTeX公司
RIS公司
分享
RSS(RSS)
到顶部