×
瓦西姆·拉瓦特；王增辉

用于图像分类的深度卷积神经网络：综述。 （英语） Zbl 1476.68245号

神经计算。 29，第9期，2352-2449（2017）.
摘要：自20世纪80年代末以来，卷积神经网络（CNN）已应用于视觉任务。然而，尽管有一些分散的应用程序，但它们一直处于休眠状态，直到2000年代中期，计算能力的发展和大量标记数据的出现，再加上改进的算法，为他们的进步做出了贡献，并将他们带到了自2012年以来迅速发展的神经网络复兴的前沿。在这篇综述中，我们重点介绍了细胞神经网络在图像分类任务中的应用，涵盖了它们的发展，从它们的前身到最近最先进的深度学习系统。在这一过程中，我们分析了（1）他们早期的成功，（2）他们在深度学习复兴中的作用，（3）选择了一些有助于他们最近受欢迎的象征性作品，以及（4）通过回顾300多份出版物的贡献和挑战进行的几次改进尝试。我们还介绍了他们目前的一些趋势和仍然存在的挑战。

引用于18文件

MSC公司：

2017年10月68日 人工神经网络与深度学习
68吨10 模式识别、语音识别
68单位10 图像处理的计算方法

软件：

CIFAR公司；卡费；开胃-v4；LFW公司；XNOR-网络；深度ID3；Xception公司；阿达格拉德；STL-10数据集；字节网；二进制连接；达奇；WaveNet公司；HOGWILD公司；CNN-RNN公司；亚当；深面（DeepFace）；AlexNet公司；加州理工大学-256；青蒿素；公共图形；FaceNet公司；SqueezeNet公司；FitNets公司；阿达德尔塔；ImageNet公司
PDF格式BibTeX公司 XML格式引用
\textit{W.Rawat}和\textit{Z.Wang}，神经计算。29，第9号，2352--2449（2017；Zbl 1476.68245）
全文： 内政部

参考文献：

[1] Abdulkader，A.（2006年）。基于条件连接规则的两层阿拉伯语脱机手写识别。第十届笔迹识别前沿国际研讨会论文集（第1-6页）。加利福尼亚州洛斯·阿拉米托斯：IEEE计算机协会。
[2] Agostinelli，F.、Hoffman，M.、Sadowski，P.和Baldi，P.（2014）。学习激活函数以改进深层神经网络。arXiv 1412.6830号。
[3] Ahmed，A.、Yu，K.、Xu，W.、Gong，Y.和Xing，E.（2008）。使用伪任务的转移学习训练分层前馈视觉识别模型。《欧洲计算机视觉会议记录》（第69-82页）。柏林：斯普林格，
[4] Arora，S.、Bhaskara，A.、Ge，R.和Ma，T.（2014）。学习一些深层表示的可证明边界。第31届国际机器学习会议记录（第584-592页）。注：国际机器学习协会。
[5] Ba，J.和Frey，B.（2013）。深度神经网络训练的自适应辍学。C.J.C.Burges、L.Bottou、M.Welling、Z.Ghahramani和K.Q.Weinberger（编辑），《神经信息处理系统的进展》，26（第3084-3092页）。纽约州红钩市：Curran。
[6] Ba，J.、Mnih，V.和Kavukcuoglu，K.（2015）。具有视觉注意力的多目标识别。第三届学习表现国际会议记录（第1-10页）。注：计算与生物学习协会。
[7] 巴赫曼，P.（2016）。用于深层次生成模型的体系结构。D.Lee、M.Sugiyama、U.V.Luxburg、I.Guyon和R.Garnett（编辑），《神经信息处理系统的进展》，29（第4826-4834页）。纽约州红钩市：Curran。
[8] Baldi，P.和Sadowski，P.J.（2013）。理解辍学。在C.J.C.Burges、L.Bottou、M.Welling、Z.Gahramani和K.Q.Weinberger（编辑），《神经信息处理系统的进展》，26（第3084-3092页）。纽约州红钩市：Curran。
[9] Baldi，P.和Sadowski，P.（2014）。辍学学习算法。人工智能，210，78-122·Zbl 1333.68225号
[10] Barkan，O.、Weill，J.、Wolf，L.和Aronowitz，H.（2013）。快速高维矢量乘法人脸识别。《IEEE计算机视觉国际会议论文集》（1960-1967页）。纽约州红钩市：科伦，
[11] Bastani，O.、Ioannou，Y.、Lampropoulos，L.、Vytiniotis，D.、Nori，A.和Criminisi，A.（2016）。带约束的神经网络鲁棒性度量。D.Lee、M.Sugiyama、U.V.Luxburg、I.Guyon和R.Garnett（编辑），《神经信息处理系统的进展》，29（第2613-2621页）。纽约州红钩市：Curran。
[12] Basu，S.、Karki，M.、DiBiano，R.、Mukhopadhyay，S.和Ganguly，S.（2016）。用于纹理分类的深度神经网络的理论分析。arXiv1605.02699·Zbl 1434.68499号
[13] Belkin，M.、Niyogi，P.和Sindhwani，V.（2006年）。流形正则化：从标记和未标记示例学习的几何框架。机器学习研究杂志，72399-2434·Zbl 1222.68144号
[14] Bell，S.和Bala，K.（2015）。利用卷积神经网络学习产品设计的视觉相似性。ACM图形学报，34（4），98-107，
[15] Bengio，Y.（2009年）。学习人工智能的深层架构。机器学习的基础和趋势，2（1），1-127·Zbl 1192.68503号
[16] Bengio，Y.（2013）。深入学习表征：展望未来。《统计语言和语音处理国际会议论文集》（第1-37页）。柏林：斯普林格，
[17] Bengio，Y.、Courville，A.和Vincent，P.（2013）。表征学习：回顾和新观点。IEEE模式分析和机器智能汇刊，35（8），1798-1828，
[18] Bengio，Y.、Lamblin，P.、Popovici，D.和Larochelle，H.（2006）。贪婪的深层网络训练。J.C.Platt、D.Koller、Y.Singer和S.T.Roweis（编辑），《神经信息处理系统的进展》，19（第2814-2822页）。纽约州红钩市：Curran。
[19] Bengio，Y.、Mesnard，T.、Fischer，A.、Zhang，S.和Wu，Y.（2017）。基于能量的模型中STDP兼容的反向传播近似。神经计算，29（3），555-577·Zbl 1414.92007年
[20] Bengio，Y.、Simard，P.和Frasconi，P.（1994年）。学习梯度下降的长期依赖性是困难的。IEEE神经网络汇刊，5（2），157-166，
[21] Bengio，Y.、Thibodeau-Laufer，E.、Alain，G.和Yosinski，J.（2014）。可通过反向运算训练的深度生成随机网络。在《第31届国际机器学习大会论文集》（第226-234页）中。N.p.：国际机器学习学会。
[22] Bottou，L.（1998）。在线学习和随机近似。神经网络在线学习，17（9），142-177·Zbl 0968.68127号
[23] Bottou，L.（2010）。具有随机梯度下降的大规模机器学习。《国际计算统计会议论文集》（第177-186页）。柏林：Physica-Verlag Heidelberg·Zbl 1436.68293号
[24] Boureau，Y.、Ponce，J.和LeCun，Y.（2010年）。视觉识别中特征池的理论分析。第27届国际机器学习会议记录（第111-118页）。注：国际机器学习协会。
[25] Bromley，J.，Bentz，J.W.，Bottou，L.，Guyon，I.，LeCun，Y.，Moore，C.，…Shah，R.（1993）。使用“暹罗”时延神经网络进行签名验证。国际模式识别与人工智能杂志，7（4），669-688，
[26] Bulo，S.和Kontschieder，P.（2014）。用于语义图像标记的神经决策森林。《IEEE计算机视觉和模式识别会议论文集》（第81-88页）。加利福尼亚州洛斯·阿拉米托斯：IEEE计算机协会。
[27] Bruna，J.、Szlam，A.和LeCun，Y.（2013年）。从池表示中恢复信号。arXiv 1311.4025号。
[28] Cao，X.、Wipf，D.、Wen，F.、Duan，G.和Sun，J.（2013）。一种实用的人脸验证传递学习算法。《IEEE计算机视觉国际会议论文集》（第3208-3215页）。纽约州红钩市：科伦，
[29] Chang，J.，&Chen，Y.（2015）。网络中的批量规范化最大输出网络。arXiv 1511.02583。
[30] Chatfield，K.、Simonyan，K.，Vedaldi，A.和Zisserman，A.（2014）。细节中魔鬼的回归：深入挖掘卷积网。arXiv 1405.3531。
[31] Chellapilla，K.，&Puri，S.，&Simard，P.（2006）。用于文档处理的高性能卷积神经网络。第十届笔迹识别前沿国际研讨会论文集。加利福尼亚州洛斯·阿拉米托斯：IEEE计算机协会。
[32] Chellapilla，K.、Shilman，M.和Simard，P.（2006年）。最佳组合级联分类器。第18届电子成像年度研讨会论文集（第6067-6126页）。N.p：国际光学工程学会。
[33] Chellapilla，K.和Simard，P.（2006年）。阿拉伯语离线手写识别的两层方法。第十届笔迹识别前沿国际研讨会论文集（第1-6页）。加利福尼亚州洛斯·阿拉米托斯：IEEE计算机协会。
[34] Chen，D.，Cao，X.，Wen，F.，&Sun，J.（2013）。维的祝福：高维特征及其有效的人脸验证压缩。IEEE计算机视觉和模式识别会议记录（第3025-3032页）。纽约州红钩市：科伦，
[35] Chen，W.、Wilson，J.T.、Tyree，S.、Weinberger，K.Q.和Chen，Y.（2015）。使用哈希技巧压缩神经网络。arXiv 1504.04788v1。
[36] Cheng，Y.、Felix，X.Y.、Feris，R.S.、Kumar，S.、Choudhary，A.和Chang，S.（2015）。具有循环投影的快速神经网络。arXiv 1502.03436。
[37] Cheng，Y.、Yu，F.X.、Feris，R.S.、Kumar，S.、Choudhary，A.和Chang，S.（2015）。具有循环投影的深度网络中参数冗余的探讨。《IEEE计算机视觉国际会议论文集》（第2857-2865页）。纽约州红钩市：科伦，
[38] Cheng，Z.、Soudry，D.、Mao，Z.和Lan，Z.（2015）。使用期望反向传播训练二元多层神经网络进行图像分类。arXiv 1503.03562号。
[39] Cholet，F.（2016）。Xception：利用深度可分离卷积进行深度学习。arXiv1610.02357。
[40] Chopra，S.、Hadsell，R.和LeCun，Y.（2005）。区分性地学习相似性度量，并应用于人脸验证。《IEEE计算机视觉和模式识别会议论文集》（第539-546页）。加利福尼亚州洛斯·阿拉米托斯：IEEE计算机学会，
[41] Choromanska，A.、Henaff，M.、Mathieu，M.，Arous，G.B.和LeCun，Y.（2015）。多层网络的损耗面。《第18届国际人工智能与统计会议论文集》（第192-204页）。
[42] Ciresan，D.C.、Meier，U.、Gambardela，L.M.和Schmidhuber，J.（2010年）。用于手写数字识别的深度、大型、简单的神经网络。神经计算，22（12），3207-3220，
[43] Ciresan，D.C.、Meier，U.、Masci，J.、Maria Gambardela，L.和Schmidhuber，J.（2011）。用于图像分类的灵活、高性能卷积神经网络。《国际人工智能联合会议记录》（第1卷，第1237-1242页）。加利福尼亚州门洛帕克：AAAI出版社。
[44] Ciresan，D.、Meier，U.和Schmidhuber，J.（2012年）。用于图像分类的多列深度神经网络。《IEEE计算机视觉和模式识别会议记录》（第3642-3649页）。纽约州红钩市：科伦，
[45] Clevert，D.、Unterthiner，T.和Hochreiter，S.（2016）。通过指数线性单位（ELU）快速准确地进行深度网络学习。《第四届学习表现国际会议论文集》（第1-14页）。注：计算与生物学习协会。
[46] Coates，A.、Lee，H.和Ng，A.Y.（2011年）。无监督特征学习中单层网络的分析。第14届国际人工智能与统计会议论文集（第215-223页）。
[47] Collobert，R.和Bengio，S.（2004）。一种温和的黑森式，用于有效的梯度下降。《IEEE声学、语音和信号处理国际会议论文集》（第517-520页）。注：IEEE信号处理协会，
[48] Collobert，R.、Sinz，F.、Weston，J.和Bottou，L.（2006）。大规模传导性SVM。机器学习研究杂志，71687-1712·Zbl 1222.68173号
[49] Courbariaux，M.、Bengio，Y.和David，J.P.（2015）。二进制连接：在传播过程中使用二进制权重训练深层神经网络。C.Cortes、N.D.Lawrence、D.D.Lee、M.Sugiyama和R.Garnett（编辑），《神经信息处理系统的进展》，28（第3123-3131页）。纽约州红钩市：Curran。
[50] Courbariaux，M.、Hubara，I.、Soudry，D.和Yaniv，R.E.（2016年）。二值化神经网络。D.Lee、M.Sugiyama、U.V.Luxburg、I.Guyon和R.Garnett（编辑），《神经信息处理系统的进展》，29（第1-9页）。注：预处理。
[51] Dean，J.、Corrado，G.、Monga，R.、Chen，K.、Devin，M.、Mao，M.…Le，Q.V.（2012）。大规模分布式深网络。F.Pereira、C.J.C.Burges、L.Bottou和K.Q.Weinberger（编辑），《神经信息处理系统的进展》，25（第1223-1231页）。纽约州红钩市：Curran。
[52] Decoste，D.和Schölkopf，B.（2002年）。训练不变支持向量机。机器学习，46（1-3），161-190·Zbl 0998.68102号
[53] Deng，L.（2014）。深入学习的体系结构、算法和应用程序的教程调查。APSIPA信号和信息处理汇刊，3（2），1-29。
[54] Deng，L.，&Yu，D.（2014）。深度学习：方法和应用。信号处理的基础和趋势，7（3-4），197-387·兹比尔1315.68208
[55] Denil，M.、Shakibi，B.、Dinh，L.和de Freitas，N.（2013）。预测深度学习中的参数。C.J.C.Burges、L.Bottou、M.Welling、Z.Ghahramani和K.Q.Weinberger（编辑），《神经信息处理系统的进展》，26（第2148-2156页）。纽约州红钩市：Curran。
[56] Denton，E.L.、Zaremba，W.、Bruna，J.、LeCun，Y.和Fergus，R.（2014）。利用卷积网络中的线性结构进行有效评估。Z.Ghahramani、M.Welling、C.Cortes、N.D.Lawrence和K.Q.Weinberger（编辑），《神经信息处理系统的进展》，27（第1269-1277页）。纽约州红钩市：Curran。
[57] Dettmers，T.（2016）。深度学习中并行性的8位近似。《第四届学习表现国际会议论文集》（第1-14页）。注：计算与生物学习协会。
[58] Dreyfus，S.（1962年）。变分问题的数值解。数学分析与应用杂志，5（1），30-45·Zbl 0111.12803号
[59] Duchi，J.、Hazan，E.和Singer，Y.（2011年）。在线学习和随机优化的自适应次梯度方法。机器学习研究杂志，12，2121-2159·Zbl 1280.68164号
[60] Dumoulin，V.和Visin，F.（2016）。深度学习卷积算法指南。arXiv 1603.07285。
[61] Erhan，D.，Bengio，Y.，Courville，A.，Manzagol，P.A.，Vincent，P.，&Bengio（2010）。为什么无监督的预培训有助于深度学习？机器学习研究杂志，11，625-660·Zbl 1242.68219号
[62] Farabet，C.、Couprie，C.、Najman，L.和LeCun，Y.（2012年）。使用多尺度特征学习、纯度树和最佳覆盖进行场景解析。arXiv 1202.2160。
[63] Fawzi，A.，Fawzi.，O.，&Frossard，P.（2015a）。分类器对对抗扰动的鲁棒性分析。arXiv 1502.02590·Zbl 1462.62383号
[64] Fawzi，A.，Fawzi.，O.，&Frossard，P.（2015b）。对抗性鲁棒性的基本限制。第32届机器学习国际会议论文集（第1-7页）。注：国际机器学习协会·Zbl 1462.62383号
[65] Fei-Fei，L.（2006）。学习识别视觉对象类的知识转移。《第四届发展与学习国际会议论文集》（第11-17页）。N.p.：IEEE计算智能学会。
[66] Fei Fei，L.、Fergus，R.和Perona，P.（2006年）。对象类别的一次性学习。IEEE模式分析和机器智能汇刊，28（4），594-611，
[67] Filho，D.P.、Luiz，P.、Oliveira，L.S.和Britto，A.S.Jr.（2009年）。森林物种识别数据库。第二十二届巴西计算机图形和图像处理研讨会论文集（第1-2页）。纽约州红钩市：Curran。
[68] Finn，C.、Tan，X.Y.、Duan，Y.、Darrell，T.、Levine，S.和Abbeel，P.（2015）。用于视觉运动学习的深层空间自动编码器。arXiv 1509.06113号。
[69] Floreano，D.和Mattiussi，C.（2008）。生物灵感人工智能：理论、方法和技术。马萨诸塞州剑桥：麻省理工学院出版社。
[70] 福岛，K.（1979）。给出位置不变响应的神经网络的自组织。《第六届国际人工智能联合会议记录》（第1卷，第291-293页）。旧金山：摩根考夫曼。
[71] 福岛，K.（1980）。Neocognitron：不受位置变化影响的模式识别机制的自组织神经网络模型。生物控制论，36（4），193-202·Zbl 0419.92009号
[72] Fukushima，K.和Miyake，S.（1982年）。Neocognitron：一种新的模式识别算法，可容忍位置上的变形和移动。模式识别，15（6），455-469，
[73] Garcia，C.和Delakis，M.（2002年）。一种用于快速鲁棒人脸检测的神经架构。《第16届模式识别国际会议论文集》（第44-47页）。加利福尼亚州洛斯·阿拉米托斯：IEEE计算机学会，
[74] Girshick，R.、Donahue，J.、Darrell，T.和Malik，J.（2014）。丰富的特征层次用于准确的对象检测和语义分割。《IEEE计算机视觉和模式识别会议论文集》（第580-587页）。纽约州红钩市：科伦，
[75] Gloot，X.和Bengio，Y.（2010年）。了解训练深度前馈神经网络的困难。《第13届国际人工智能与统计会议论文集》（第249-256页）。jmlr.org/proceedings/papers/v9/glorot10a/glorot10/pdf
[76] Gloot，X.、Bordes，A.和Bengio，Y.（2011年）。深度稀疏整流器神经网络。《第十四届国际人工智能与统计会议论文集》（第315-323页）。
[77] Gong，Y.、Liu，L.、Yang，M.和Boudev，L.（2014）。使用矢量量化压缩深度卷积网络。arXiv 1412.6115号。
[78] Gong，Y.、Wang，L.、Guo，R.和Lazebnik，S.（2014年9月）。深度卷积激活特征的多尺度无序池。《欧洲计算机视觉会议记录》（第392-407页）。柏林：斯普林格，
[79] Goodfellow，I.、Bengio，Y.和Courville，A.（2016）。深度学习。马萨诸塞州剑桥：麻省理工学院出版社·Zbl 1373.68009号
[80] Goodfellow，I.，Pouget Abadie，J.，Mirza，M.，Xu，B.，Warde Farley，D.，Ozair，S.，…Bengio，Y.（2014）。生成性对抗网络。Z.Ghahramani、M.Welling、C.Cortes、N.D.Lawrence和K.Q.Weinberger（编辑），《神经信息处理系统的进展》，27（第2672-2680页）。纽约州红钩市：Curran。
[81] Goodfellow，I.J.、Shlens，J.和Szegedy，C.（2015）。解释和利用对抗性示例。第三届学习表现国际会议记录（第1-11页）。注：计算与生物学习协会。
[82] Goodfellow，I.J.、Warde-Farley，D.、Mirza，M.、Courville，A.C.和Bengio，Y.（2013）。Maxout网络。第30届国际机器学习会议记录（第1319-1327页）。注：国际机器学习协会。
[83] Graham，B.（2014）。分数最大池。arXiv 1412.6071号。
[84] Grauman，K.和Darrell，T.（2005）。金字塔匹配核：具有图像特征集的鉴别分类。《IEEE计算机视觉国际会议论文集》（第1458-1465页）。纽约州红钩市：科伦，
[85] Griffin，G.、Holub，A.和Perona，P.（2007）。Caltech-256对象类别数据集。帕萨迪纳：加利福尼亚理工大学。
[86] Gu，J.，Wang，Z.，Kuen，J.、Ma，L.、Shahroudy，A.、Shuai，B.…Wang，G.（2015）。卷积神经网络的最新进展。arXiv 1512.07108号。
[87] Gu，S.和Rigazio，L.（2014）。面向对对抗性示例鲁棒的深层神经网络架构。arXiv 1412.5068号。
[88] Gulcehre，C.、Cho，K.、Pascanu，R.和Bengio，Y.（2014年）。深度前馈和递归神经网络的学习范数池。《欧洲机器学习与数据库知识发现原理与实践会议论文集》（第530-546页）。纽约：Springer-Verlag，
[89] Guo，Y.，Liu，Y.、Oerlemans，A.、Lao，S.、Wu，S.和Lew，M.S.（2016）。视觉理解的深度学习：综述。神经计算，187，27-48，
[90] Hadsell，R.、Chopra，S.和LeCun，Y.（2006年）。通过学习不变映射降低维数。《IEEE计算机视觉和模式识别会议论文集》（第1735-1742页）。加利福尼亚州洛斯·阿拉米托斯：IEEE计算机学会，
[91] Hadsell，R.，Sermanet，P.，Ben，J.，Erkan，A.，Scoffier，M.，Kavukcuoglu，K.，…LeCun，Y.（2009）。学习自动越野驾驶的远程视野。野外机器人学杂志，26（2），120-144，
[92] Han，S.、Liu，X.、Mao，H.、Pu，J.、Pedram，A.、Horowitz，M.A.和Dally，W.J.（2016）。EIE：压缩深度神经网络上的高效推理引擎。arXiv 1602.01528。
[93] Han，S.、Mao，H.和Dally，W.J.（2016）。深度压缩：通过剪枝、训练量化和哈夫曼编码压缩深度神经网络。第三届学习表现国际会议记录（第1-14页）。注：计算与生物学习协会。
[94] Hardt，M.和Ma，T.（2016）。身份在深度学习中很重要。arXiv 1611.04231号。
[95] Harris，K.D.和Shepherd，G.M.（2015）。新皮质回路：主题和变化。《自然神经科学》，18（2），170-181，
[96] He，K.和Sun，J.（2015）。时间成本受限的卷积神经网络。《IEEE计算机视觉和模式识别会议记录》（第5353-5360页）。纽约州红钩市：科伦，
[97] He，K.，Zhang，X.，Ren，S.，&Sun，J.（2014）。用于视觉识别的深度卷积网络中的空间金字塔池。《欧洲计算机视觉会议记录》（第346-361页）。柏林：斯普林格，
[98] He，K.，Zhang，X.，Ren，S.，&Sun，J.（2015a）。用于图像识别的深度残差学习。arXiv 1512.03385号。
[99] He，K.，Zhang，X.，Ren，S.，&Sun，J.（2015b）。深入研究整流器：在图像网络分类方面超越人类水平的性能。《IEEE计算机视觉国际会议论文集》（第1026-1034页）。纽约州红钩市：科伦，
[100] He，K.，Zhang，X.，Ren，S.，&Sun，J.（2016）。深剩余网络中的身份映射。arXiv1603.05027，
[101] Hinton，G.E.（1989）。连接学习程序。人工智能，40（1），185-234，
[102] Hinton，G.E.（2002年）。通过最小化对比差异来培训专家产品。神经计算，14（8），1771-1800·Zbl 1010.68111号
[103] Hinton，G.E.、Osindero，S.和Teh，Y.（2006年）。一种深度信念网的快速学习算法。神经计算，18（7），1527-1554·Zbl 1106.68094号
[104] Hinton，G.E.和Salakhutdinov，R.R.（2006）。利用神经网络降低数据的维数。科学，313（5786），504-507·Zbl 1226.68083号
[105] Hinton，G.E.、Srivastava，N.、Krizhevsky，A.、Sutskever，I.和Salakhutdinov，R.R.（2012）。通过防止特征检测器的联合自适应来改进神经网络。arXiv第1207.0580号·Zbl 1318.68153号
[106] Hinton，G.、Vinyals，O.和Dean，J.（2015）。在神经网络中提取知识。arXiv 1503.02531。
[107] Hochreiter，S.和Schmidhuber，J.（1997年）。长短期记忆。神经计算，9（8），1735-1780，
[108] Huang，F.J.和LeCun，Y.（2006年）。基于SVM和卷积网络的大尺度学习用于一般对象分类。《IEEE计算机视觉和模式识别会议论文集》（第284-291页）。纽约州红钩市：Curran。
[109] Huang，G.B.、Ramesh，M.、Berg，T.和Learnd-Miller，E.（2007年）。野外标记人脸：研究无约束环境中人脸识别的数据库（第1卷，第3页）（技术报告07-49）。阿默斯特：马萨诸塞大学。
[110] Huang，G.，Liu，Z.，Weinberger，K.Q.，&van der Maaten，L.（2016）。紧密连接的卷积网络。arXiv 1608.06993。
[111] Huang，G.，Sun，Y.，Liu，Z.，Sedra，D.，&Weinberger，K.Q.（2016）。具有随机深度的深度网络。《欧洲计算机视觉会议记录》（第646-661页）。柏林海德堡：施普林格，
[112] Huang，R.、Xu，B.、Schuurmans，D.和Szepesvári，C.（2016）。与强大的对手一起学习。arXiv 1511.03034v6。
[113] Hubel，D.H.和Wiesel，T.N.（1959年）。猫纹状体皮层中单个神经元的感受野。生理学杂志，148（1），574-591，
[114] Hubel，D.H.和Wiesel，T.N.（1962年）。猫视觉皮层的感受野、双眼交互和功能结构。生理学杂志，160（1），106-154，
[115] Hyvärinen，A.和Köster，U.（2007年）。复杂的细胞池和自然图像的统计。网络：神经系统计算，18（2），81-100，
[116] Iandola，F.N.、Moskewicz，M.W.、Ashraf，K.、Han，S.、Dally，W.J.和Keutzer，K..（2016年）。SqueezeNet:AlexNet级精度，参数少50倍，型号大小为1MB。arXiv 1602.07360。
[117] Ioffe，S.（2017）。批重正态化：在批规范化模型中减少对小批量的依赖。arXiv 1702.03275号。
[118] Ioffe，S.和Szegedy，C.（2015）。批量规范化：通过减少内部协变量偏移来加速深层网络培训。第32届国际机器学习会议记录（第448-456页）。注：国际机器学习协会。
[119] Ivakhnenko，A.G.和Lapa，V.G.（1966年）。控制论预测装置。纽约：CCM信息公司。
[120] Jaderberg，M.、Simonyan，K.和Zisserman，A.（2015）。空间变压器网络。在C.Cortes、N.D.Lawrence、D.D.Lee、M.Sugiyama和R.Garnett（编辑），《神经信息处理系统的进展》，28（第2017-2025页）。纽约州红钩市：Curran。
[121] Jaderberg，M.、Vedaldi，A.和Zisserman，A.（2014）。用低阶展开加速卷积神经网络。《英国机器视觉会议论文集》（第1-12页）。英国达勒姆：BMVA出版社，
[122] Jarrett，K.、Kavukcuoglu，K.和LeCun，Y.（2009年）。对象识别的最佳多级架构是什么？IEEE计算机视觉国际会议论文集（第2146-2153页）。纽约州红钩市：科伦，
[123] Jegou，H.、Perronnin，F.、Douze，M.、Sánchez，J.、Perez，P.和Schmid，C.（2012）。将局部图像描述符聚合为紧凑代码。IEEE模式分析和机器智能汇刊，34（9），1704-1716，
[124] Jia，Y.、Shelhamer，E.、Donahue，J.、Karayev，S.、Long，J.和Girshick，R.…Darrell，T.（2014）。Caffe：快速特征嵌入的卷积架构。第22届ACM国际多媒体会议记录（第675-678页）。纽约：ACM，
[125] Jin，J.、Dundar，A.和Culurciello，E.（2016）。对抗噪声下的鲁棒卷积神经网络。《第四届学习表现国际会议记录》（第1-8页）。注：计算与生物学习协会。
[126] Jin，X.、Xu，C.、Feng，J.、Wei，Y.、Xiong，J.和Yan，S.（2015）。使用S形整流线性激活单元进行深度学习。arXiv 1512.07030号。
[127] Kalchbrenner，N.、Danihelka，I.和Graves，A.（2015）。网格长短期记忆。arXiv 1507.01526。
[128] Kalchbrenner，N.、Espeholt，L.、Simonyan，K.、Oord，A.V.D.、Graves，A.和Kavukcuoglu，K..（2016年）。线性时间内的神经机器翻译。arXiv 1610.10099号。
[129] Karpathy，A.（2016）。CS231n：用于视觉识别的卷积神经网络。
[130] Karpathy，A.和Fei-Fei，L.（2016）。用于生成图像描述的深层视觉语义对齐。《IEEE计算机视觉和模式识别会议论文集》（第3128-3137页）。纽约州红钩市：Curran。
[131] Kavukcuoglu，K.、Ranzato，M.、Fergus，R.和LeCun，Y.（2009年）。通过地形滤波图学习不变特征。《IEEE计算机视觉和模式识别会议论文集》（第1605-1612页）。纽约州红钩市：科伦，
[132] Kavukcuoglu，K.、Ranzato，M.和LeCun，Y.（2010）。稀疏编码算法中的快速推理及其在对象识别中的应用。第1010.3467页。
[133] Kennedy，J.和Eberhart，R.C.（1995年10月）。使用粒子群理论的新优化器。第六届国际微机械与人类科学研讨会论文集（第39-43页）。新泽西州皮斯卡塔韦：IEEE。
[134] Kim，M.和Smaragdis，P.（2016）。位神经网络。arXiv 1601.06071号。
[135] Kim，Y.、Park，E.、Yoo，S.、Choi，T.、Yang，L.和Shin，D.（2015）。用于快速和低功耗移动应用的深度卷积神经网络压缩。arXiv 1511.06530号。
[136] Kingma，D.和Ba，J.（2014）。亚当：一种随机优化方法。arXiv 1412.6980年。
[137] Kingma，D.P.和Welling，M.（2014）。自动编码变分贝叶斯。arXiv 1312.6114 v10。
[138] Koushik，J.（2016）。了解卷积神经网络。arXiv 1605.09081。
[139] Krizhevsky，A.（2009）。从微小图像中学习多层特征。加拿大多伦多大学硕士论文。
[140] Krizhevsky，A.（2014）。并行化卷积神经网络的一个奇怪技巧。arXiv 1404.5997。
[141] Krizhevsky，A.、Sutskever，I.和Hinton，G.E.（2012）。使用深度卷积神经网络进行ImageNet分类。F.Pereira、C.J.C.Burges、L.Bottou和K.Q.Weinberger（编辑），《神经信息处理系统的进展》，25（第1097-1105页）。纽约州红钩市：Curran。
[142] Kulkarni，T.D.、Whitney，W.F.、Kohli，P.和Tenenbaum，J.（2015）。深度卷积逆图形网络。收录于C.Cortes、N.D.Lawrence、D.D.Lee、M.Sugiyama和R.Garnett（编辑），《神经信息处理系统的进展》，28（第2539-2547页）。纽约州红钩市：Curran。
[143] Kumar，N.、Berg，A.C.、Belhumeur，P.N.和Nayar，S.K.（2009年）。用于人脸验证的属性和明喻分类器。《IEEE计算机视觉国际会议论文集》（第365-372页）。纽约州红钩市：科伦，
[144] Laptev，D.、Savinov，N.、Buhmann，J.M.和Pollefeys，M.（2016年）。TI-POOLING：卷积神经网络中用于特征学习的变换-变量池。arXiv 1604.06318号。
[145] Larochelle，H.、Erhan，D.、Courville，A.、Bergstra，J.和Bengio，Y.（2007年）。对具有许多变化因素的问题的深层架构进行实证评估。《第24届机器学习国际会议论文集》（第473-480页）。注：国际机器学习协会，
[146] Lavin，A.和Gray，S.（2016年）。卷积神经网络的快速算法。在IEEE计算机视觉和模式识别会议论文集（第4013-4021页）。纽约红钩：柯兰，
[147] Lawrence，S.、Giles，C.L.、Tsoi，A.C.和Back，A.D.（1997）。人脸识别：卷积神经网络方法。IEEE神经网络汇刊，8（1），98-113，
[148] Lazebnik，S.、Schmid，C.和Ponce，J.（2005）。使用局部仿射区域的稀疏纹理表示。IEEE模式分析和机器智能汇刊，27（8），1265-1278，
[149] Lazebnik，S.、Schmid，C.和Ponce，J.（2006）。除了一袋袋的特征：用于识别自然场景类别的空间金字塔匹配。《IEEE计算机视觉和模式识别会议论文集》（第2169-2178页）。纽约州红钩市：科伦，
[150] Learnd-Miller，E.、Huang，G.B.、RoyChowdhury，A.、Li，H.和Hua，G.（2016）。野外有标签的面孔：一项调查。M.Kawulok、M.E.Celebi和B.Smolka（编辑），《面部检测和面部图像分析进展》（第189-248页）。瑞士查姆：施普林格，
[151] Lebedev，V.、Ganin，Y.、Rakhuba，M.、Oseledets，I.和Lempitsky，V.（2014）。使用微调CP分解加速卷积神经网络。arXiv 1412.6553号。
[152] LeCun，Y.（1989）。概括和网络设计策略。R.Pfeifer、Z.Schreter、F.Fogelman和L.Steels（编辑），《透视关系》（第143-155页）。瑞士苏黎世：爱思唯尔。
[153] LeCun，Y.、Bengio，Y.和Hinton，G.（2015）。深度学习。《自然》，521（7553），436-444，
[154] LeCun，Y.、Boser，B.、Denker，J.S.、Henderson，D.、Howard，R.E.、Hubbard，W.和Jackel，L.D.（1989年a）。用反向传播网络进行手写数字识别。D.S.Touretzky（Ed.），《神经信息处理系统的进展》，第2页（第396-404页）。马萨诸塞州剑桥：麻省理工学院出版社。
[155] LeCun，Y.、Boser，B.、Denker，J.S.、Henderson，D.、Howard，R.E.、Hubbard，W.和Jackel，L.D.（1989年B）。反向传播应用于手写邮政编码识别。神经计算，1（4），541-551，
[156] LeCun，Y.、Bottou，L.、Bengio，Y.和Haffner，P.（1998）。基于梯度的学习应用于文档识别。IEEE会议录，86（11），2278-2324，
[157] LeCun，Y.、Huang，F.J.和Bottou，L.（2004）。具有姿态和光照不变性的通用对象识别的学习方法。《IEEE计算机视觉和模式识别会议论文集》（第97-104页）。纽约州红钩市：科伦，
[158] LeCun，Y.、Kavukcuoglu，K.和Farabet，C.（2010年）。卷积网络及其在视觉中的应用。IEEE电路与系统国际研讨会论文集（第253-256页）。纽约州红钩市：科伦，
[159] Lee，C.、Gallagher，P.W.和Tu，Z.（2016）。卷积神经网络中池函数的泛化：混合、门控和树。第19届国际人工智能与统计会议论文集（第464-472页）。
[160] Lee，C.、Xie，S.、Gallagher，P.、Zhang，Z.和Tu，Z.（2015）。深度监管网络。《第18届国际人工智能与统计会议论文集》（第562-570页）。jmlr.org/proceedings/papers/v38/lee15a.pdf
[161] Lee，H.、Grosse，R.、Ranganath，R.和Ng，A.Y.（2009年）。用于分层表示的可扩展无监督学习的卷积深信念网络。第26届国际机器学习会议记录（第609-616页）。注：国际机器学习协会，
[162] Leibo，J.Z.、Mutch，J.和Poggio，T.（2011年）。为什么大脑将人脸识别与物体识别分开。J.Shawe-Taylor、R.S.Zemel、P.L.Bartlett、F.Pereira和K.Q.Weinberger（编辑），《神经信息处理系统的进展》，24（第711-719页）。纽约州红钩市：Curran。
[163] Levine，S.、Finn，C.、Darrell，T.和Abbeel，P.（2016）。深度视觉政策的端到端培训。机器学习研究杂志，17（39），1-40·Zbl 1360.68687号
[164] Li，F.、Zhang，B.和Liu，B.（2016）。三元权重网络。arXiv 1605.04711。
[165] Li，S.，Jiao，J.，Han，Y.，&Weissman，T.（2016）。解密ResNet。arXiv 1611.01186年。
[166] Li，Z.，Gong，B.，&Yang，T.（2016）。改善了浅层和深层学习的辍学情况。D.Lee、M.Sugiyama、U.V.Luxburg、I.Guyon和R.Garnett（编辑），《神经信息处理系统的进展》（第1-9页）。注：预处理。
[167] Liang，M.和Hu，X.（2015）。用于目标识别的递归卷积神经网络。《IEEE计算机视觉和模式识别会议记录》（第3367-3375页）。纽约州红钩市：科伦，
[168] Liao，Z.和Carneiro，G.（2016）。关于使用分段线性激活单元的深度学习中归一化层的重要性。IEEE计算机视觉应用冬季会议记录（第1-8页）。纽约州红钩市：科伦，
[169] Lin，J.、Morere，O.、Chandrasekhar，V.、Veillard，A.和Goh，H.（2015）。Deephash：正确进行正则化、深度和微调。arXiv 1501.04711号。
[170] Lin，M.、Chen，Q.和Yan，S.（2013）。网络中的网络。arXiv 1312.4400。
[171] Lin，Y.，Lv，F.，Zhu，S.，Yang，M.，Cour，T.，Yu，K.，…Huang，T.（2011）。大规模图像分类：快速特征提取和支持向量机训练。在IEEE计算机视觉和模式识别会议论文集（第1689-1696页）。纽约州红钩市：科伦，
[172] Linnainmaa，S.（1970年）。将算法的累积舍入误差表示为局部舍入误差的泰勒展开。芬兰赫尔辛基大学硕士论文。
[173] Littwin，E.和Wolf，L.（2016）。剩余网络的损失面：集合和批次归一化的作用。arXiv 1611.02525号。
[174] Liu，H.，Tian，Y.，Yang，Y.、Pang，L.和Huang，T.（2016）。深度相对远程学习：说出相似车辆之间的差异。《IEEE计算机视觉和模式识别会议论文集》（第2167-2175页）。纽约州红钩市：科伦，
[175] Liu，W.，Wen，Y.，Scut，M.，Yu，Z.，&Yang，M.（2016）。卷积神经网络的大边缘softmax损失。第33届国际机器学习会议记录（第507-516页）。注：国际机器学习协会。
[176] Maas，A.L.、Hannun，A.Y.和Ng，A.Y.（2013）。整流器非线性改善了神经网络声学模型。第30届国际机器学习会议记录（第1-8页）。注：国际机器学习协会。
[177] Maharaj，A.V.（2015）。通过降低输入维数提高ConvNets的对抗鲁棒性。加利福尼亚州斯坦福：斯坦福大学物理系。
[178] Mairal，J.、Bach，F.、Ponce，J.，Sapiro，G.和Zisserman，A.（2008）。用于局部图像分析的识别性学习词典。IEEE计算机视觉和模式识别会议记录（第1-8页）。纽约州红钩市：科伦，
[179] Malinowski，M.和Fritz，M.（2013年）。用于图像分类的可学习池区域。arXiv1301.3516号。
[180] Mallat，S.（2012年）。群不变散射。纯数学与应用数学通讯，65（10），1331-1398。doi:10.1002/cpa.21413·Zbl 1282.47009号
[181] Masci，J.、Meier，U.、Cirešan，D.和Schmidhuber，J.（2011）。用于分层特征提取的堆叠卷积自动编码器。《第21届国际人工神经网络会议论文集》（第52-59页）。柏林：斯普林格。
[182] Mathieu，M.、Henaff，M.和LeCun，Y.（2013）。通过FFT快速训练卷积网络。arXiv第1312.5851号。
[183] Mishkin，D.和Matas，J.（2016）。你所需要的只是一个好的初始值。《第四届学习表现国际会议论文集》（第1-13页）。注：计算与生物学习协会。
[184] Miyato，T.、Maeda，S.、Koyama，M.、Nakae，K.和Ishii，S.（2016）。分布平滑与虚拟对抗训练。第五届学习表现国际会议记录（第1-12页）。注：计算与生物学习协会。
[185] Montavon，G.、Orr，G.B.和Müller，K.（编辑）。(2012). 神经网络：贸易的诡计（第二版）。柏林：斯普林格，
[186] Muller，U.、Ben，J.、Cosatto，E.、Flepp，B.和LeCun，Y.（2005）。通过端到端学习避免越野障碍。Y.Weiss、P.B.Schölkopf和J.C.Platt（编辑），《神经信息处理系统的进展》，18（第739-746页）。马萨诸塞州剑桥：麻省理工学院出版社。
[187] Nagi，J.、Di Caro，G.A.、Giusti，A.、Nagi、F.和Gambardella，L.M.（2012年）。卷积神经支持向量机：多机器人系统的混合视觉模式分类器。第十一届机器学习与应用国际会议论文集（第27-32页）。加利福尼亚州洛斯·阿拉米托斯：IEEE计算机学会，
[188] Nagi，J.，Ducatelle，F.，Di Caro，G.A.，Cirešan，D.，Meier，U.，Giusti，A.，…Gambardella，L.M.（2011）。基于视觉的手势识别的Max-pooling卷积神经网络。《IEEE信号和图像处理应用国际会议论文集》（第342-347页）。纽约州红钩市：科伦，
[189] Nair，V.和Hinton，G.E.（2009年）。基于深度信念网络的三维物体识别。Y.Bengio、D.Schuurmans、J.D.Lafferty、C.K.I.Williams和A.Culotta（编辑），《神经信息处理系统的进展》，22（第1339-1347页）。纽约州红钩市：Curran。
[190] Nair，V.和Hinton，G.E.（2010年）。校正的线性单元改进了受限的Boltzmann机器。第27届国际机器学习会议记录（第807-814页）。注：国际机器学习协会。
[191] Nasse，F.、Thurau，C.和Fink，G.A.（2009年）。使用基于GPU的卷积神经网络进行人脸检测。第13届图像和模式计算机分析国际会议论文集（第83-90页）。柏林：斯普林格，
[192] 国家数据科学碗|卡格尔。(2016). Kaggle.com。
[193] Netzer，Y.、Wang，T.、Coates，A.、Bissacco，A.、Wu，B.和Ng，A.Y.（2011年）。使用无监督特征学习读取自然图像中的数字。《神经信息处理系统进展》，24（NIPS）深度学习和无监督特征学习研讨会（第1-9页）。纽约州红钩市：Curran。
[194] Ngiam，J.、Chen，Z.、Chia，D.、Koh，P.W.、Le，Q.V.和Ng，A.Y.（2010年）。平铺卷积神经网络。J.D.Lafferty、C.K.I.Williams、J.Shawe-Taylor、R.S.Zemel和A.Culotta（编辑），《神经信息处理系统的进展》，23（第1279-1287页）。纽约州红钩市：Curran。
[195] Nguyen，A.、Yosinski，J.和Clune，J.（2015）。深度神经网络很容易被愚弄：对无法识别的图像进行高置信度预测。在IEEE计算机视觉和模式识别会议论文集（第427-436页）。加利福尼亚州洛斯·阿拉米托斯：IEEE计算机学会，
[196] Ning，F.、Delhomme，D.、LeCun，Y.、Piano，F.，Bottou，L.和Barbano，P.E.（2005）。视频中发育胚胎的自动表型分析。IEEE图像处理汇刊，14（9），1360-1371，
[197] Novikov，A.、Podoprikhin，D.、Osokin，A.和Vetrov，D.P.（2015）。拉紧神经网络。C.Cortes、N.D.Lawrence、D.D.Lee、M.Sugiyama和R.Garnett（编辑），《神经信息处理系统的进展》，28（第442-450页）。纽约州红钩市：Curran。
[198] Nowlan，S.J.和Hinton，G.E.（1992年）。通过软加权简化神经网络。神经计算，4（4），473-493，
[199] Oh，K.和Jung，K.（2004）。神经网络的GPU实现。模式识别，37（6），1311-1314·兹比尔1070.68555
[200] Oord，A.，Dieleman，S.，Zen，H.，Simonyan，K.，Vinyals，O.，Graves，A.…Kavukcuoglu，K..（2016）。Wavenet：原始音频的生成模型。CoRR abs/1609.03499
[201] Orhan，A.E.（2017）。跳过连接作为有效的对称断路。arXiv 1701.09175号。
[202] Oseledets，I.V.（2011年）。张应变分解。SIAM科学计算杂志，33（5），2295-2317·Zbl 1232.15018号
[203] Oxholm，G.、Bariya，P.和Nishino，K.（2012）。几何纹理的比例。《欧洲计算机视觉会议记录》（第58-71页）。柏林：斯普林格，
[204] Paine，T.、Jin，H.、Yang，J.、Lin，Z.和Huang，T.（2013）。GPU异步随机梯度下降加快神经网络训练。arXiv 1312.6186号。
[205] Papernot，N.、McDaniel，P.、Wu，X.、Jha，S.和Swami，A.（2016）。蒸馏作为对抗深层神经网络的对抗性扰动的防御。第37届IEEE安全与隐私研讨会论文集（第1-16页）。加利福尼亚州洛斯·阿拉米托斯：IEEE计算机学会，
[206] Pereyra，G.、Tucker，G.，Chorowski，J.、Kaiser，L.和Hinton，G.（2017年）。通过惩罚自信的输出分布来规范神经网络。arXiv 1701.06548v1。
[207] Perronnin，F.、Sánchez，J.和Mensink，T.（2010年）。改进大规模图像分类的Fisher核。《欧洲计算机视觉会议记录》（第143-156页）。柏林：斯普林格，
[208] Pinto，L.和Gupta，A.（2015年）。超大规模的自我监控：从5万次尝试和700个机器人小时中学习抓取。arXiv 1509.06825号。
[209] Qiao，Y.、Shen，J.、Xiao，T.、Yang，Q.、Wen，M.和Zhang，C.（2016）。FPGA是一种加速的深度卷积神经网络，可实现高通量和能效。并发与计算：实践与经验。doi:10.1002/cpe.3850，
[210] 钱宁（1999）。梯度下降学习算法中的动量项。神经网络，12145-150，
[211] Ranzato，M.A.、Huang，F.J.、Boureau，Y.和LeCun，Y.（2007年）。不变特征层次的无监督学习及其在目标识别中的应用。IEEE计算机视觉和模式识别会议论文集（第1-8页）。加利福尼亚州洛斯·阿拉米托斯：IEEE计算机学会，
[212] Ranzato，M.、Poultney，C.、Chopra，S.和LeCun，Y.（2006年）。使用基于能量的模型有效学习稀疏表示。P.B.Schölkopf、J.C.Platt和T.Hoffman（编辑），《神经信息处理系统的进展》，19（第1137-1144页）。马萨诸塞州剑桥：麻省理工学院出版社。
[213] Ranzato，M.A.和Szummer，M.（2008）。使用深层网络对紧凑文档表示进行半监督学习。第25届机器学习国际会议论文集（第792-799页）。注：国际机器学习协会，
[214] Rastegari，M.、Ordonnez，V.、Redmon，J.和Farhadi，A.（2016）。Xnor-net：使用二进制卷积神经网络对图像进行分类。《欧洲计算机视觉会议记录》（第525-542页）。柏林：斯普林格，
[215] Razavian，A.、Azizpour，H.、Sullivan，J.和Carlsson，S.（2014）。美国有线电视新闻网（CNN）的特写是：一个令人震惊的识别基线。IEEE计算机视觉和模式识别研讨会会议记录（第806-813页）。加利福尼亚州洛斯·阿拉米托斯：IEEE计算机学会，
[216] Recht，B.、Re，C.、Wright，S.和Niu，F.（2011年）。Hogwild：一种并行化随机梯度下降的无锁方法。J.Shawe-Taylor、R.S.Zemel、P.L.Bartlett、F.Pereira和K.Q.Weinberger（编辑），《神经信息处理系统的进展》，24（第693-701页）。纽约州红钩市：Curran。
[217] Rippel，O.、Gelbart，M.A.和Adams，R.P.（2014）。学习嵌套辍学的有序表示。《第30届机器学习国际会议论文集》（第1746-1754页）。注：国际机器学习协会。
[218] Rippel，O.、Snoek，J.和Adams，R.P.（2015）。卷积神经网络的谱表示。C.Cortes、N.D.Lawrence、D.D.Lee、M.Sugiyama和R.Garnett（编辑），《神经信息处理系统的进展》，28（第2449-2457页）。纽约州红钩市：Curran。
[219] Romero，A.、Ballas，N.、Kahou，S.E.、Chassang，A.、Gatta，C.和Bengio，Y.（2015）。Fitnets：适用于薄型深网的提示。在第三届学习表征国际会议论文集（第1-13页）。注：计算与生物学习协会。
[220] Rumelhart，D.E.、Hinton，G.E.和Williams，R.J.（1986年）。通过反向传播错误学习表示。《自然》，323（6088），533-536·Zbl 1369.68284号
[221] Russakovsky，O.、Deng，J.、Su，H.、Krause，J.，Satheesh，S.、Ma，S.…Bernstein，M.（2015）。ImageNet大规模视觉识别挑战。国际计算机视觉杂志，115（3），211-252，
[222] Sabour，S.、Cao，Y.、Faghri，F.和Fleet，D.J.（2016）。深度表征的对抗性操纵。《第四届学习表现国际会议论文集》（第1-18页）。注：计算与生物学习协会。
[223] Sainath，T.N.、Kingsbury，B.、Mohamed，A.、Dahl，G.E.、Saon，G.、Soltau，H.…Ramabhadran，B.（2013）。LVCSR深度卷积神经网络的改进。2013年IEEE自动语音识别和理解研讨会（第315-320页）。纽约州红钩市：科伦，
[224] Sainath，T.N.、Kingsbury，B.、Sindhwani，V.、Arisoy，E.和Ramabhadran，B.（2013）。用于具有高维输出目标的深度神经网络训练的低秩矩阵分解。IEEE声学、语音和信号处理国际会议论文集（第6655-6659页）。注：IEEE信号处理协会），
[225] Salakhutdinov，R.和Hinton，G.E.（2007年）。通过保持类邻域结构学习非线性嵌入。第十一届国际人工智能与统计会议记录（第412-419页）。
[226] Sánchez，J.和Perronnin，F.（2011）。用于大规模图像分类的高维签名压缩。《IEEE计算机视觉和模式识别会议论文集》（第1665-1672页）。加利福尼亚州洛斯·阿拉米托斯：IEEE计算机学会，
[227] Saxe，A.M.、McClelland，J.L.和Ganguli，S.（2013）。深度线性神经网络中非线性学习动力学的精确解。arXiv 1312.6120号。
[228] Sercu，T.和Goel，V.（2016年）。语音识别中基于时间膨胀卷积序列的密集预测。arXiv 1611.09288号。
[229] Scherer，D.、Müller，A.和Behnke，S.（2010年）。对象识别卷积体系结构中池操作的评估。《第20届国际人工神经网络会议论文集》（第92-101页）。柏林：斯普林格，
[230] Schmidhuber，J.（2015）。神经网络中的深度学习：概述。神经网络，61，85-117，
[231] Schroff，F.、Kalenichenko，D.和Philbin，J.（2015）。Facenet：人脸识别和聚类的统一嵌入。发表在《IEEE计算机视觉和模式识别会议论文集》（第815-823页）。加利福尼亚州洛斯阿拉米托斯：IEEE计算机协会，
[232] Sermanet，P.、Chintala，S.和LeCun，Y.（2012年）。卷积神经网络在门牌号数字分类中的应用。《第21届模式识别国际会议论文集》（第3288-3291页）。纽约州红钩市：Curran。
[233] Simard，P.Y.、Steinkraus，D.和Platt，J.C.（2003年8月）。用于可视化文档分析的卷积神经网络的最佳实践。《第七届文件分析和识别国际会议记录》（第3卷，第958-963页）。华盛顿特区：IEEE计算机协会，
[234] Simoncelli，E.P.和Heeger，D.J.（1998年）。视觉区域神经元反应模型MT.视觉研究，38（5），743-761，
[235] Simonyan，K.和Zisserman，A.（2014）。用于大规模图像识别的深度卷积网络。arXiv 1409.1556。
[236] Smirnov，E.A.、Timoshenko，D.M.和Andrianov，S.N.（2014）。ImageNet分类正则化方法与深度卷积神经网络的比较。AASRI Procedia，689-94，
[237] Snoek，J.、Larochelle，H.和Adams，R.P.（2012）。机器学习算法的实用贝叶斯优化。F.Pereira、C.J.C.Burges、L.Bottou和K.Q.Weinberger（编辑），《神经信息处理系统的进展》，25（第2951-2959页）。纽约州红钩市：Curran。
[238] Sontag，E.D.（1998年）。神经网络的VC维。北约ASI F系列计算机和系统科学，16869-96·Zbl 0928.68091号
[239] Springenberg，J.T.、Dosovitskiy，A.、Brox，T.和Riedmiller，M.（2014）。力求简单：全卷积网络。arXiv1412.6806。
[240] Springenberg，J.T.和Riedmiller，M.（2013）。用概率最大输出单元改进深度神经网络。arXiv 1312.6116号。
[241] Srinivas，S.、Sarvadevabhatla，R.K.、Mopuri，K.R.、Prabhu，N.、Kruthiventi，S.S.和Babu，R.V.（2016）。用于计算机视觉的深度卷积神经网络分类。arXiv 1601.06615号。
[242] Srivastava，N.、Hinton，G.E.、Krizhevsky，A.、Sutskever，I.和Salakhutdinov，R.（2014）。辍学：防止神经网络过度拟合的简单方法。机器学习研究杂志，15（1），1929-1958·Zbl 1318.68153号
[243] Srivastava，N.和Salakhutdinov，R.R.（2013）。基于树的先验的判别迁移学习。在C.J.C.Burges、L.Bottou、M.Welling、Z.Gahramani和K.Q.Weinberger（编辑），《神经信息处理系统的进展》，26（第2094-2102页）。纽约州红钩市：Curran。
[244] Srivastava，R.K.、Greff，K.和Schmidhuber，J.（2015a）。训练深度网络。C.Cortes、N.D.Lawrence、D.D.Lee、M.Sugiyama和R.Garnett（编辑），《神经信息处理系统的进展》，28（第2377-2385页）。纽约州红钩市：Curran。
[245] Srivastava，R.K.、Greff，K.和Schmidhuber，J.（2015b）。公路网。arXiv 1505.00387号。
[246] Stallkamp，J.、Schlipsing，M.、Salmen，J.和Igel，C.（2011年7月）。德国交通标志识别基准：多类别分类比赛。《IEEE神经网络国际联合会议论文集》（第1453-1460页）。纽约红钩：柯兰，
[247] Steinkrau，D.、Simard，P.Y.和Buck，I.（2005）。将GPU用于机器学习算法。第八届文件分析和识别国际会议记录（第1115-1119页）。华盛顿特区：IEEE计算机协会。
[248] Stollenga，M.F.、Masci，J.、Gomez，F.和Schmidhuber，J.（2014）。通过反馈连接具有内部选择性关注的深层网络。Z.Ghahramani、M.Welling、C.Cortes、N.D.Lawrence和K.Q.Weinberger（编辑），《神经信息处理系统的进展》，27（第3545-3553页）。纽约州红钩市：Curran。
[249] 孙毅、陈毅、王毅和唐毅（2014）。通过联合身份验证深入学习人脸表示。Z.Ghahramani、M.Welling、C.Cortes、N.D.Lawrence和K.Q.Weinberger（编辑），《神经信息处理系统的进展》，27（1988-1996页）。纽约州红钩市：Curran。
[250] Sun，Y.，Liang，D.，Wang，X.，&Tang，X..（2015）。Deepid3：使用非常深入的神经网络进行人脸识别。arXiv 1502.00873号。
[251] Sun，Y.，Wang，X.，&Tang，X..（2014）。通过预测10000个班级深入学习面部表情。《IEEE计算机视觉和模式识别会议论文集》（1891-1898页）。加利福尼亚州洛斯·阿拉米托斯：IEEE计算机学会，
[252] Sun，Y.，Wang，X.，&Tang，X..（2015）。深度学习的人脸表示是稀疏的、选择性的和鲁棒的。在IEEE计算机视觉和模式识别会议论文集（第2892-2900页）。加利福尼亚州洛斯阿拉米托斯：IEEE计算机协会，
[253] Sussillo，D.和Abbott，L.（2014）。训练深度前馈网络的随机行走初始化。arXiv 1412.6558号。
[254] Sutskever，I.、Martens，J.、Dahl，G.E.和Hinton，G.E.（2013年）。关于深度学习中初始化和动量的重要性。第30届国际机器学习会议记录（第1139-1147页）。注：国际机器学习协会。
[255] Szegedy，C.、Ioffe，S.和Vanhoucke，V.（2016）。Inception-v4、Incepton-Resnet和残余联系对学习的影响。arXiv 1602.07261。
[256] Szegedy，C.，Liu，W.，Jia，Y.，Sermanet，P.，Reed，S.，Angelov，D.，…Rabinovich，A.（2015）。用卷积深入。《IEEE计算机视觉和模式识别会议论文集》（第1-9页）。加利福尼亚州洛斯·阿拉米托斯：IEEE计算机学会，
[257] Szegedy，C.、Vanhoucke，V.、Ioffe，S.、Shlens，J.和Wojna，Z.（2015）。重新思考计算机视觉的初始架构。arXiv 1512.00567号。
[258] Szegedy，C.、Zaremba，W.、Sutskever，I.、Bruna，J.、Erhan，D.、Goodfellow，I.和Fergus，R.（2014）。神经网络的有趣特性。《第一届学习表现国际会议论文集》（第1-10页）。注：计算与生物学习协会。
[259] Tabacof，P.，&Valle，E.（2016）。探索对抗性图像的空间。《国际神经网络联合会议记录》（第1-8页）。纽约州红钩市：科伦，
[260] Taigman，Y.、Yang，M.、Ranzato，M.和Wolf，L.（2014）。深层次：缩小人脸验证中与人的绩效之间的差距。《IEEE计算机视觉和模式识别会议论文集》（第1701-1708页）。加利福尼亚州洛斯阿拉米托斯：IEEE计算机协会，
[261] Tang，Y.（2013）。使用线性支持向量机进行深度学习。arXiv1306.0239。
[262] Tompson，J.、Goroshin，R.、Jain，A.、LeCun，Y.和Bregler，C.（2015）。使用卷积网络进行有效的目标定位。《IEEE计算机视觉和模式识别会议论文集》（第648-656页）。加利福尼亚州洛斯·阿拉米托斯：IEEE计算机学会，
[263] Tucker，L.R.（1966年）。关于三模式因子分析的一些数学注释。《心理测量学》，31（3），279-311，
[264] Turaga，S.C.、Murray，J.F.、Jain，V.、Roth，F.、Helmstaedter，M.、Briggman，K.、…Seung，H.S.（2010）。卷积网络可以学习生成用于图像分割的亲和图。神经计算，22（2），511-538·Zbl 1183.92055号
[265] 乌利钦，M.、伦德斯特罗姆，J.和拜特纳，S.（2016）。用于图像识别的深度卷积神经网络的鲁棒性。《第一届智能计算系统国际研讨会论文集》（第16-30页）。瑞士：施普林格国际出版公司，
[266] Van Dyk，D.A.和Meng，X.（2012年）。数据增强的艺术。计算与图形统计杂志，10（1），1-50，
[267] Vapnik，V.（1995）。统计学习理论的本质。纽约：Springer Science&Business Media·Zbl 0833.62008号
[268] Vapnik，V.N.和Chervonenkis，A.Y.（1971）。关于事件相对频率与其概率的一致收敛性。概率论及其应用。16(2), 11-30. , ·Zbl 1337.60009号
[269] Vinyals，O.、Toshev，A.、Bengio，S.和Erhan，D.（2015）。展示和讲述：一个神经图像字幕生成器。《IEEE计算机视觉和模式识别会议论文集》（第3156-3164页）。纽约州红钩市：科伦，
[270] Wager，S.、Wang，S.和Liang，P.S.（2013年）。退出训练作为自适应正则化。在C.J.C.Burges、L.Bottou、M.Welling、Z.Gahramani和K.Q.Weinberger（编辑），《神经信息处理系统的进展》，26（第351-359页）。纽约州红钩市：Curran。
[271] Wan，L.、Zeiler，M.、Zhang，S.、LeCun，Y.和Fergus，R.（2013）。使用Dropconnect对神经网络进行正则化。第30届国际机器学习会议记录（第1058-1066页）。注：国际机器学习协会。
[272] Wang，J.、Yang，Y.、Mao，J.，Huang，Z.、Huang、C.和Xu，W.（2016）。CNN-RNN：多标签图像分类的统一框架。arXiv 1604.04573。
[273] Wang，S.I.和Manning，C.D.（2013）。快速辍学训练。第30届国际机器学习会议记录（第118-126页）。注：国际机器学习协会。
[274] Wang，Y.，Xu，C.，You，S.，Tao，D.，&Xu，C..（2016）。CNNpack：在频域中封装卷积神经网络。D.Lee、M.Sugiyama、U.V.Luxburg、I.Guyon和R.Garnett（编辑），《神经信息处理系统的进展》，29（第1-9页）。注：预处理。
[275] Wang，Z.和Oates，T.（2015）。将时间序列编码为图像，以便使用平铺卷积神经网络进行视觉检查和分类。在第二十届AAAI人工智能会议的研讨会上（第40-46页）。
[276] Warde-Farley，D.、Goodfellow，I.J.、Courville，A.和Bengio，Y.（2013年）。分段线性网络中丢包现象的实证分析。arXiv 1312.6197号。
[277] Weinberger，K.Q.、Blitzer，J.和Saul，L.K.（2005）。大幅度最近邻分类的距离度量学习。Y.Weiss、P.B.Schölkopf和J.C.Platt（编辑），《神经信息处理系统的进展》，18（第1473-1480页）。马萨诸塞州剑桥：麻省理工学院出版社。
[278] Werbos，P.（1974年）。超越回归：行为科学中预测和分析的新工具。哈佛大学博士论文。
[279] Werbos，P.J.（1982）。非线性灵敏度分析进展的应用。R.F.Drenick和F.Kozin（编辑），系统建模和优化（第762-770页）。柏林：斯普林格，
[280] Weston，J.、Ratle，F.、Mobahi，H.和Collobert，R.（2008）。通过半监督嵌入进行深度学习。第25届机器学习国际会议论文集（第1168-1175页）。注：国际机器学习协会，
[281] Wiatowski，T.和Bölcskei，H.（2015）。用于特征提取的深度卷积神经网络的数学理论。arXiv 1512.06293·兹比尔139094053
[282] Winograd，S.（1980年）。计算的算术复杂性。费城：SIAM·Zbl 0441.68045号
[283] Wolf，L.、Hassner，T.和Maoz，I.（2011年）。具有匹配背景相似性的无约束视频中的人脸识别。《IEEE计算机视觉和模式识别会议论文集》（第529-534页）。纽约州红钩市：科伦，
[284] Wu，H.，&Gu，X.（2015）。卷积神经网络正则化的最大池丢失。第22届国际神经信息处理会议记录（第46-53页）。柏林：斯普林格，
[285] Wu，J.、Yu，Y.、Huang，C.和Yu，K.（2015）。用于图像分类和自动标注的深度多实例学习。《IEEE计算机视觉和模式识别会议论文集》（第3460-3469页）。纽约州红钩市：科伦，
[286] Xie，L.、Wang，J.、Wei，Z.、Wang、M.和Tian，Q.（2016）。DisturbLabel：在损失层上规范CNN。《IEEE计算机视觉和模式识别会议论文集》（第4753-4762页）。纽约州红钩市：科伦，
[287] Xie，S.、Girshick，R.、DolláR，P.、Tu，Z.和He，K.（2016）。深度神经网络的聚合残差变换。arXiv 1611.05431。
[288] Xu，B.，Wang，N.，Chen，T.，&Li，M.（2015）。卷积网络中校正激活的实证评估。arXiv 1505.00853v2。
[289] Yadan，O.、Adams，K.、Taigman，Y.和Ranzato，M.（2014）。convnet的多-GPU培训。arXiv1312.5853v4。
[290] Yang，J.、Yu，K.、Gong，Y.和Huang，T.（2009）。使用稀疏编码的线性空间金字塔匹配用于图像分类。《IEEE计算机视觉和模式识别会议论文集》（第1794-1801页）。纽约州红钩市：Curran。
[291] Yu，D.，Wang，H.，Chen，P.，&Wei，Z.（2014）。卷积神经网络的混合池。《第九届粗糙集与知识技术国际会议论文集》（第364-375页）。柏林：斯普林格，
[292] Yu，F.和Koltun，V.（2015）。通过扩展卷积进行多尺度上下文聚合。arXiv 1511.07122号。
[293] Yu，W.，Yang，K.，Bai，Y.，Yao，H.，&Rui，Y..（2014a）。DNN流：基于DNN特征金字塔的图像匹配。《英国机器视觉会议论文集》（第1-10页）。英国达勒姆：BMVA出版社，
[294] Yu，W.，Yang，K.，Bai，Y.，Yao，H.，&Rui，Y..（2014b）。卷积神经网络的可视化和比较。arXiv第1412.6631号。
[295] Zagoruyko，S.和Komodakis，N.（2017）。广泛的残余网络。arXiv 1605.07146v3。
[296] Zeiler，M.D.（2012年）。ADADELTA：一种自适应学习速率方法。arXiv 1212.5701。
[297] Zeiler，M.D.和Fergus，R.（2013年）。深度卷积神经网络正则化的随机池。arXiv1301.3557。
[298] Zeiler，M.D.和Fergus，R.（2014）。可视化和理解卷积网络。《欧洲计算机视觉会议记录》（第818-833页）。柏林：斯普林格，
[299] Zeiler，M.D.、Taylor，G.W.和Fergus，R.（2011年）。用于中高级特征学习的自适应反卷积网络。《IEEE计算机视觉国际会议论文集》（2018-2025页）。纽约州红钩市：科伦，
[300] 翟S.、Cheng，Y.和Zhang，Z.M.（2016）。双卷积神经网络。D.Lee、M.Sugiyama、U.V.Luxburg、I.Guyon和R.Garnett（编辑），《神经信息处理系统的进展》，29（第1-9页）。注：预处理。
[301] Zhang，H.、Berg，A.C.、Maire，M.和Malik，J.（2006）。SVM-KNN：用于视觉类别识别的判别最近邻分类。《IEEE计算机视觉和模式识别会议论文集》（第2126-2136页）。纽约州红钩市：科伦，
[302] Zhao，Q.和Griffin，L.D.（2016）。抑制异常：使用对称激活函数实现稳健CNN。arXiv 1603.05145v1。
[303] Zhou，E.，Cao，Z.，&Yin，Q.（2015）。天真的人脸识别：是否触及LFW基准的极限？arXiv 1501.04690。
[304] Zhu，Z.，Luo，P.，Wang，X.，&Tang，X..（2014）。使用深度神经网络恢复野外的标准视图人脸。arXiv 1404.3543号。
[305] Zhung，Y.、Chin，W.、Juan，Y.和Lin，C.（2013）。共享内存系统中矩阵分解的快速并行SGD。第七届ACM推荐系统会议记录（第249-256页）。纽约：ACM，
[306] Zinkevich，M.、Weimer，M.，Li，L.和Smola，A.J.（2010年）。并行随机梯度下降。在J.D.Lafferty、C.K.I.Williams、J.Shawe Taylor、R.S.Zemel和A.Culotta（编辑），《神经信息处理系统的进展》，23（第2595-2603页）。纽约州红钩市：Curran。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。