×
何俊才;徐金超;张，廉;朱建清

ResNet和MgNet的解释约束线性模型。 （英语） Zbl 07752159号

神经网络。 162, 384-392 (2023).
摘要：我们提出了一个约束线性数据特征映射模型，作为使用卷积神经网络（CNN）进行图像分类的可解释数学模型。从这个观点出发，我们在线性系统的传统迭代方案与ResNet和MgNet类型模型的基本块的架构之间建立了详细的联系。利用这些联系，我们提出了一些改进的ResNet模型，与原始模型相比，这些模型的参数较少，但可以产生更准确的结果，从而证明了这种受限学习数据特征映射假设的有效性。基于这个假设，我们进一步提出了一个通用的数据特征迭代方案来证明MgNet的合理性。我们还对MgNet进行了系统的数值研究，以显示其在图像分类问题上的成功和优势，特别是与现有网络相比。

MSC公司：

68泰克 人工智能

关键词：

卷积神经网络;数据特征映射;多重网格迭代法;资源网;MgNet公司

软件：

V网络;掌中宽带;AlexNet公司;PyTorch公司;开胃-v4;MgNet公司;图像网络;火炬差异
PDF格式BibTeX公司 XML格式引用
\textit{J.He}等人，神经网络。162384-392（2023年；兹比尔07752159）
全文： 内政部 arXiv公司

参考文献：

[1] Allen-Zhu，Z。；Li，Y.，ResNet除了内核之外还能有效地学习什么？，神经信息处理系统进展，32（2019）
[2] Chang，B。；孟，L。；哈伯，E。；董，F。；Begert，D.，《动力系统观点的多级剩余网络》（2017），arXiv预印本arXiv:1710.10348
[3] Chen，T.Q。；Rubanova，Y。；Bettencourt，J。；Duvenaud，D.K.，神经常微分方程，（神经信息处理系统进展（2018）），6571-6583
[4] 邓，J。；Dong，W。；Socher，R。；李立杰。；李凯。；Fei Fei，L.，Imagenet:一个大型层次图像数据库，（2009年IEEE计算机视觉和模式识别会议（2009），IEEE），248-255
[5] 戈卢布，G.H。；Van Loan，C.F.，《矩阵计算》，第3卷（2012年），JHU出版社
[6] A.N.戈麦斯。；Ren，M。；Urtasun，R。；Grosse，R.B.，《可逆剩余网络：不存储激活的反向传播》，（神经信息处理系统进展（2017），2214-2224
[7] 格雷戈，K。；LeCun，Y.，学习稀疏编码的快速近似，（第27届机器学习国际会议论文集（2010），Omnipress），399-406
[8] 哈伯，E。；鲁索托，L。；Holtham，E.，《跨尺度学习——卷积神经网络的多尺度方法》（2017），arXiv预印本arXiv:1703.02009
[9] Hackbusch，W.，大型稀疏方程组的迭代解，第95卷（1994），Springer·Zbl 0789.65017号
[10] Hackbusch，W.，《多网格方法和应用》，第4卷（2013），Springer Science&Business Media
[11] Han，S.、Mao，H.和Dally，W.J.（2015）。深度压缩：通过剪枝、训练量化和哈夫曼编码压缩深度神经网络。在学习代表国际会议上。
[12] He，J。；贾，X。；徐，J。；张，L。；赵，L.，Make\（\ell_1\）正则化在稀疏CNN训练中的有效性，计算优化与应用，77，1，163-182（2020）·Zbl 1480.90178号
[13] He，J。；李，L。；Xu，J.，深度ReLU细胞神经网络的近似性质，数学科学研究，9，3，38（2022）·Zbl 1514.41009号
[14] He，J。；Xu，J.，MgNet:多重网格和卷积神经网络的统一框架，科学中国数学，1-24（2019）
[15] He，K.，Zhang，X.，Ren，S.，&Sun，J.（2015）。深入研究整流器：在图像网络分类方面超越人类水平的性能。IEEE计算机视觉国际会议论文集（第1026-1034页）。
[16] He，K.，Zhang，X.，Ren，S.，&Sun，J.（2016a）。用于图像识别的深度残差学习。在IEEE关于计算机视觉和模式识别的会议记录中（第770-778页）。
[17] 他，K。；张，X。；任，S。；Sun，J.，深度剩余网络中的身份映射，（欧洲计算机视觉会议（2016），Springer），630-645
[18] 赫尔姆克，美国。；Moore，J.B.，《优化和动力系统》（2012），Springer Science&Business Media·Zbl 0943.93001号
[19] 谢家忠、赵S.、艾斯曼S.、米拉贝拉L.和埃蒙S.（2019）。学习具有收敛保证的神经PDE解算器。2019年ICLR。
[20] 黄，F。；阿什，J。；Langford，J。；Schapire，R.，《使用提升理论连续学习深层resnet块》（机器学习国际会议（2018），PMLR），2058-2067
[21] Huang，G.，Liu，Z.，Van Der Maaten，L.，&Weinberger，K.Q.（2017）。紧密连接的卷积网络。《IEEE计算机视觉和模式识别会议论文集》（第4700-4708页）。
[22] 黄，K。；Wang，Y。；陶，M。；Zhao，T.，为什么深度残差网络比深度前馈网络更能概括-神经切线核观点，神经信息处理系统进展，33，2698-2709（2020）
[23] 洛夫，S。；Szegedy，C.，《批量规范化：通过减少内部协变量偏移来加速深层网络训练》（2015），arXiv预印本arXiv:1502.03167
[24] Katrusa，A。；Daulbaev，T。；Oseledets，I.，《深度多重网格：学习延长和限制矩阵》（Deep multigrid:Learning extendation and restriction matrix）（2017），arXiv预印本arXiv:1711.03825
[25] Ke，T.-W。；Maire，M。；Stella，X.Y.，《多重网格神经架构》（2016），arXiv预印本arXiv:1611.07661
[26] Krizhevsky，A。；Hinton，G.，《从微小图像中学习多层特征技术报告》（2009年），Citeser
[27] Krizhevsky，A.、Sutskever，I.和Hinton，G.E.（2012）。使用深度卷积神经网络进行ImageNet分类。在神经信息处理系统国际会议上（第1097-1105页）。
[28] 拉尔森，G。；Maire，M。；Shakhnarovich，G.，Fractalnet：无残差超深神经网络（2016），arXiv预印本arXiv:1605.07648
[29] LeCun，Y。；Y.本吉奥。；Hinton，G.，《深度学习》，《自然》，521，7553，436（2015）
[30] LeCun，Y。；博图，L。；Y.本吉奥。；Haffner，P.，《基于梯度的学习应用于文档识别》，IEEE会议记录，86，11，2278-2324（1998）
[31] 李，Z。；Shi，Z.，神经网络流模型（2017），arXiv预印本arXiv:1708.06257v2
[32] 李，H。；Yang，Y。；陈，D。；Lin，Z.，优化算法启发的深度神经网络结构设计（2018），arXiv预印本arXiv:1810.01638
[33] Lin，H。；Jegelka，S.，具有一个神经元隐藏层的Resnet是一种通用逼近器，《神经信息处理系统进展》，31（2018）
[34] Littwin，E。；Wolf，L.，《剩余网络的损失面：集合和批次归一化的作用》（2016），arXiv预印本arXiv:1611.02525
[35] Lu，Y。；钟，A。；李强。；Dong，B.，《超越有限层神经网络：桥接深层结构和数值微分方程》（第35届机器学习国际会议论文集，第80卷（2018），PMLR）
[36] Milletari，F。；纳瓦布，N。；Ahmadi，S.-A.，V-net：用于体积医学图像分割的全卷积神经网络，（2016第四届3D视觉国际会议（2016），IEEE），565-571
[37] Nitanda，A。；铃木，T.，基于剩余网络感知的功能梯度提升，（机器学习国际会议（2018），PMLR），3819-3828
[38] Paszke，A。；毛重，S。；马萨，F。；Lerer，A。；布拉德伯里，J。；Chanan，G.，PyTorch:一个命令式、高性能的深度学习库（Advances in neural information processing System，2019），8026-8037
[39] O.Ronneberger。；菲舍尔，P。；Brox，T.，《U-Net:生物医学图像分割的卷积网络》，（医学图像计算和计算机辅助干预国际会议（2015），施普林格），234-241
[40] 俄勒冈州Russakovsky。；邓，J。；苏，H。；克劳斯，J。；Satheesh，S。；Ma，S.，Imagenet大规模视觉识别挑战，国际计算机视觉杂志，115，3，211-252（2015）
[41] Simonyan，K.和Zisserman，A.（2015）。用于大规模图像识别的深度卷积网络。在学习代表国际会议上。
[42] Sonoda，S.和Murata，N.（2017年）。深度神经网络的双连续极限。在ICML研讨会上，深入学习的原则方法·Zbl 1420.68177号
[43] 北斯利瓦斯塔瓦。；辛顿，G。；Krizhevsky，A。；Sutskever，I。；Salakhuttinov，R.，《辍学：防止神经网络过度拟合的简单方法》，机器学习研究杂志，15，11929-1958（2014）·兹比尔1318.68153
[44] Sun，J。；李，H。；Xu，Z.，Deep ADMM-Net for compressive sensing MRI，（神经信息处理系统进展（2016）），10-18
[45] Szegedy，C.、Ioffe，S.、Vanhoucke，V.和Alemi，A.A.（2017年）。Inception-v4、Inception-resnet和残余联系对学习的影响。在第三十一届AAAI人工智能会议上。
[46] Szegedy，C.、Liu，W.、Jia，Y.、Sermanet，P.、Reed，S.、Angelov，D.等人（2015）。用卷积深入。IEEE计算机视觉和模式识别会议记录（第1-9页）。
[47] 蒂尔，T。；布鲁纳，J。；Giryes，R.，残差网络的基于核的光滑性分析，（数学与科学机器学习（2022），PMLR），921-954
[48] 维特，A。；Wilber，M.J。；Belongie，S.，剩余网络的行为类似于相对浅层网络的集合，《神经信息处理系统进展》，29（2016）
[49] Weinan，E.，《通过动态系统进行机器学习的建议》，《数学与统计通信》，5，1，1-11（2017）·Zbl 1380.37154号
[50] 谢S。；Girshick，R。；多尔，P。；涂，Z。；He，K.，深度神经网络的聚合残差变换，（2017年IEEE计算机视觉和模式识别会议（2017），IEEE），5987-5995
[51] Xu，J.，通过空间分解和子空间校正的迭代方法，SIAM Review，34，4，581-613（1992）·Zbl 0788.65037号
[52] 徐，J。；Zikatanov，L.，Hilbert空间中的交替投影方法和子空间校正方法，美国数学学会杂志，15，3573-597（2002）·Zbl 0999.47015号
[53] 徐，J。；Zikatanov，L.，代数多重网格方法，《数值学报》，26，591-721（2017）·Zbl 1378.65182号
[54] Zagoruyko，S.和Komodakis，N.（2016年）。广泛的剩余网络。在英国机器视觉会议上（第87.1-87.12页）。
[55] 张，X。；李，Z。；罗伊，C.C。；Lin，D.，Polynet:在非常深的网络中追求结构多样性，（2017年IEEE计算机视觉和模式识别会议（2017），IEEE），3900-3908
[56] 张，L。；Tan，Z。；宋，J。；陈，J。；鲍，C。；Ma，K.，SCAN:面向紧凑高效模型的可扩展神经网络框架（2019），arXiv预印本arXiv:1906.03951
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。