×
本杰明·沃尔特

在带有附加局部池的分层最大池模型中分析卷积神经网络图像分类器。 （英语） Zbl 1502.62047号

J.统计计划。推断 224, 109-126 (2023).
摘要：在图像分类的实际应用中，基于卷积神经网络的方法是目前的标准。然而，这些方法的成功并没有从理论上得到充分解释。为此，引入了图像分类的统计模型，即带有附加局部池的分层最大池模型。在这里，附加的本地池使分层模型能够组合图像中彼此相对距离可变的部分。介绍并分析了各种卷积神经网络图像分类器，考虑到其估计的误分类风险收敛到最佳误分类风险的速度。该分析从理论上解释了为什么包含某种局部池层的一般卷积神经网络结构在某些图像分类情况下有用，并为选择正确的网络结构提供了理论提示。此外，通过将这些网络结构应用于模拟数据和实际数据，说明了这些网络结构的有限样本容量性能。

MSC公司：

62G08号 非参数回归和分位数回归
62G05型 非参数估计
6220国集团 非参数推理的渐近性质
68T07型 人工神经网络与深度学习

关键词：

维数灾难;卷积神经网络;图像分类;收敛速度

软件：

亚当;图像网络;AlexNet公司;凯拉斯;到岸价格
PDF格式BibTeX公司 XML格式引用
\textit{B.Walter}，J.Stat.Plann（英国统计局）。推断224，109--126（2023；Zbl 1502.62047）
全文： 内政部 arXiv公司

参考文献：

[1] Bartlett，P。；乔丹，M。；麦考利夫，J.，凸性、分类和风险边界，J.Amer。统计师。协会，101，138-156（2006）·Zbl 1118.62330号
[2] Bauer，B。；Kohler，M.，《深度学习作为非参数回归中维度诅咒的补救方法》，《统计年鉴》。，47, 4, 2261-2285 (2019) ·Zbl 1421.62036号
[3] 博斯，T。；Schmidt-Hieber，J.，用于多类分类的深层ReLU网络的收敛速度（2021），arXiv:2108.00969·Zbl 1493.62156号
[4] Boureau，Y.-L.，Ponce，J.，Lecun，Y.，2010年。视觉识别中特征池的理论分析。摘自：第27届国际机器学习会议记录（ICML-10）。第111-118页。
[5] Cholet，F.，Keras（2015），https://keras.io网址
[6] Devroye，L。；Györfi，L。；Lugosi，G.，模式识别的概率理论（1996），Springer·Zbl 0853.68150号
[7] 杜，S.S。；Lee，J.D。；李，H。；Wang，L。；翟，X.，梯度下降发现深度神经网络的全局极小值（2018），arXiv:1811.03804
[8] Eckle，K。；Schmidt-Hieber，J.，《深层网络与ReLU激活函数和线性样条方法的比较》，神经网络。，110, 232-242 (2019)
[9] Gholamalinezhad，H。；Khosravi，H.，深度神经网络中的池方法，综述（2020），arXiv:2009.07485
[10] 古德费罗，I。；Y.本吉奥。；A.Courville，《深度学习》（2016），麻省理工学院出版社·兹比尔1373.68009
[11] 胡，T。；尚，Z。；Cheng，G.，师生环境下深度神经网络分类器的夏普收敛速度（2020），arXiv:2001.06892
[12] Imaizumi，M.，Fukamizu，K.，2019年。深度神经网络有效地学习非光滑函数。摘自：第22届国际人工智能与统计会议记录（AISTATS 2019）。日本冲绳那霸。
[13] Kim，Y.，用于句子分类的卷积神经网络（2014），arXiv:1408.5882
[14] Kim，Y。；哦，我。；Kim，D.，分类用深层神经网络的快速收敛速度，神经网络，138179-197（2021）·Zbl 1521.68188号
[15] Kingma，D。；Ba，J.，Adam：随机优化方法（国际学习表征会议（2014））
[16] 科勒，M。；Krzyżak，A.，基于层次交互模型的非参数回归，IEEE Trans。通知。理论，631620-1630（2017）·Zbl 1366.62082号
[17] 科勒，M。；Krzyżak，A.，最小化经验风险的超参数深度神经网络不能很好地推广，Bernoulli，272564-2597（2021）·Zbl 1504.62052号
[18] 科勒，M。；Krzyzak，A。；Langer，S.，通过深度神经网络对低局部维度函数的估计（2019），arXiv:1908.11140
[19] 科勒，M。；Krzyżak，A。；Walter，B.，《基于卷积神经网络的图像分类器的收敛速度》，《Ann.Inst.Statist》。数学。，1-24 (2022)
[20] 科勒，M。；Langer，S.，使用交叉熵损失的深度卷积神经网络进行图像分类的统计理论（2020），arXiv:2011.13602
[21] 科勒，M。；Langer，S.，《关于全连通极深神经网络回归估计的收敛速度》，Ann.Statist。，49, 2231-2249 (2021) ·Zbl 1486.62112号
[22] Krizhevsky，A.，《从微小图像中学习多层特征》，多伦多大学计算机科学系（2009）
[23] Krizhevsky，A。；Sutskever，I。；Hinton，G.E.，使用深度卷积神经网络进行ImageNet分类，（Pereira，F.；等，《神经信息处理系统进展》，第25卷（2012年），纽约州红钩市：Curran:红钩市，纽约州：Curran Red Hook市：Curren），1097-1105
[24] LeCun，Y。；Y.本吉奥。；Hinton，G.，《深度学习》，《自然》，521，7553，436-444（2015）
[25] 乐村，Y。；博图，L。；Y.本吉奥。；Haffner，P.，《基于梯度的学习应用于文档识别》，Proc。IEEE，86，2278-2324（1998）
[26] Lin，S。；Zhang，J.，卷积神经网络的推广界（2019），arXiv:1910.01487
[27] 刘，H。；陈，M。；Zhao，T。；Liao，W.，Besov函数逼近和低维流形上使用卷积残差网络的二元分类，（国际机器学习会议（2021））
[28] 马科斯，D。；沃尔皮，M。；Tuia，D.，学习用于纹理分类的旋转不变卷积滤波器，（国际模式识别会议（ICPR）（2016）），2012-2017年
[29] Netzer，Y。；Wang，T。；科茨，A。；比萨科，A。；吴，B。；Ng，A.Y.，使用无监督特征学习读取自然图像中的数字，（NIPS深度学习和无监督特征教学研讨会2011（2011））
[30] Oono，K。；铃木，T.，ResNet型卷积神经网络的近似和非参数估计（2019），arXiv:1903.10047
[31] 拉瓦特，W。；Wang，Z.，用于图像分类的深度卷积神经网络：综述，神经计算。，29, 2352-2449 (2017) ·兹比尔1476.68245
[32] 俄勒冈州Russakovsky。；邓，J。；苏，H。；克劳斯，J。；Satheesh，S。；马，S。；黄，Z。；Karpathy，A。；科斯拉，A。；伯恩斯坦，M。；A.C.Berg。；Fei-Fei，L.，ImageNet大规模视觉识别挑战，国际计算机杂志。视觉。（IJCV），115，3，211-252（2015）
[33] Schmidhuber，J.，《神经网络中的深度学习：概述》，神经网络。，61, 85-117 (2015)
[34] Schmidt-Hieber，J.，使用具有relu激活函数的深度神经网络的非参数回归，Ann.Statist。，48, 4, 1875-1897 (2020) ·Zbl 1459.62059号
[35] Simonyan，K。；Zisserman，A.，《用于大规模图像识别的甚深卷积网络》（2014），arXiv:1409.1556
[36] 铃木，T。；Nitanda，A.，深度学习适用于各向异性贝索夫空间中模型平滑的内在维数（2019），arXiv:1910.12799
[37] 涂，Z。；张杰。；Tao，D.，《对抗性学习的理论分析：极小极大方法》（Wallach，H.；Larochelle，H.、Beygelzimer，A.；D'AlchéBuc，F.；Fox，E.；Garnett，R.，《神经信息处理系统的进展》，第32卷（2019年），Curran Associates，Inc.）
[38] Yarotsky，D.，神经网络对不变映射的通用逼近（2018），arXiv:1804.10306
[39] 张杰。；Huang，X.，双层神经网络的Mean-field分析：具有线性收敛速度的全局最优性（2022），arXiv:2205.09860
[40] 张杰。；刘，T。；Tao，D.，《深度学习的信息理论观点》（2018），arXiv:1804.09060
[41] 张杰。；刘，T。；Tao，D.，深度学习中泛化的最优传输观点，IEEE Trans。神经网络。学习。系统。(2021)
[42] 张杰。；刘，T。；Tao，D.，关于从代理风险最小化器到贝叶斯最优分类器的收敛速度，IEEE Trans。神经网络。学习。系统。(2021)
[43] 张杰。；杨，Z。；Zhou，Z。；Wang，Z.，《竞争性线性二次系统中有效样本强化学习》，学习。动态。控制，144597-598（2021）
[44] 周德兴，深度卷积神经网络的普遍性，应用。计算。哈蒙。分析。，48, 2, 787-794 (2020) ·Zbl 1434.68531号
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。