尹鹏航;辛,杰克;齐英勇 基于深度神经网络的线性特征变换和分类增强。 (英语) Zbl 1484.68210号 科学杂志。计算。 76,第3期,1396-1406(2018). 摘要:引入加权凸正则核范数模型,在深度神经网络的特征向量上构造秩约束线性变换。每个类的特征向量都由一个子空间建模,线性变换的目的是扩大子空间的两两角度。权重和凸正则化解决了线性变换的秩退化问题。该模型由凸函数差分算法计算,并分析了其下降和收敛特性。在CAFFE平台上对公共领域的10类手写数字图像(MNIST)和小目标彩色图像(CIFAR-10)在卷积神经网络中进行了数值实验。在主成分分析降维之后,变换后的特征向量在低维特征区域提高了网络的精度。特征变换与网络结构无关,可以应用于降低最终全连接层的复杂性,而无需重新训练网络的特征提取层。 引用于三文件 MSC公司: 68T07型 人工神经网络与深度学习 15A04号 线性变换、半线性变换 62H25个 因子分析和主成分;对应分析 62H30型 分类和歧视;聚类分析(统计方面) 90C25型 凸面编程 关键词:线性特征变换;加权核范数差;低维特征;增强型分类 软件:ImageNet公司;AlexNet公司;cuda-转换;水母;到岸价格;卡费 PDF格式BibTeX公司 XML格式引用 \textit{P.Yin}等人,《科学杂志》。计算。76,第3号,1396--1406(2018;Zbl 1484.68210) 全文: 内政部 参考文献: [1] Ba,L.J.,Caruana,R.:深网真的需要深度吗?arxiv:1312.6184(2013) [2] cuda-convnet。https://code.google.com/p/cuda-convnet [3] Deng,L.,Yu,D.:深度学习:方法和应用。NOW Publishers,布雷达(2014)·Zbl 1315.68208号 [4] Denton,E.,Zaremba,W.,Bruna,J.,LeCun,Y.,Fergus,R.:利用卷积网络中的线性结构进行有效评估。摘自:《神经信息处理系统进展》,第1269-1277页(2014年) [5] Hinton,G,学习多层表示,趋势认知。科学,11,428-434,(2007)·doi:10.1016/j.tics.2007.09.004 [6] Jia,Y.,Shelhamer,E.,Donahue,J.,Karayev,S.,Long,J.、Girshick,R.、Guadarrama,S.、Darrell,T.:Caffe:快速特征嵌入的卷积建筑。arXiv预印arXiv:1408.5093,(2014) [7] Krizhevsky,A.:从微小图像中学习多层特征。www.cs.toronto.edu/kriz/index.htm(2009) [8] 克里舍夫斯基,A;Sutskever,I;Hinton,G,深度卷积神经网络的Imagenet分类,高级神经信息处理。系统。,25, 1097-1105, (2012) [9] LeCun,Y.,Bottou,L.,Orr,G.,Müller,K.:神经网络:贸易的诡计。柏林施普林格(1998) [10] LeCun,Y;博图,L;本吉奥,Y;Haffner,P,梯度学习在文档识别中的应用,Proc。IEEE,86,2278-2324,(1998)·数字对象标识代码:10.1109/5.726791 [11] 邱,Q;Sapiro,G,聚类和分类的学习变换,J.马赫。学习。第16187-225号决议(2015年)·Zbl 1337.68230号 [12] Recht,B;Ré,C,大规模矩阵补全的并行随机梯度算法,数学。程序。计算。,5, 201-226, (2013) ·Zbl 1275.90039号 ·doi:10.1007/s12532-013-0053-8 [13] Schmidhuber,J.:《神经网络的深度学习:概述》。arXiv:1404.7828v4(2014) [14] 西罗尼,A;Tekin,B;Rigamonti,R;Lepetit,V;Fua,P,学习可分离滤波器,IEEE Trans。模式分析。机器。智力。,37, 94-106, (2015) ·doi:10.1109/TPAMI.2014.2343229 [15] 陶,PD;直流编程的凸分析方法:理论、算法和应用,数学学报。越南。,22, 289-355, (1997) ·Zbl 0895.90152号 [16] 陶,PD;An,LTH,A DC优化算法,用于解决信任区域子问题,SIAM J.Optim。,8, 476-505, (1998) ·Zbl 0913.65054号 ·doi:10.1137/S1052623494274313 [17] Watson,GA,矩阵范数次微分的刻画,线性代数应用。,170, 33-45, (1992) ·Zbl 0751.15011号 ·doi:10.1016/0024-3795(92)90407-2 [18] 阴,P;Xin,J,Phaseliftoff:一种基于迹差和Frobenius范数的准确稳定的相位恢复方法,Commun。数学。科学。,13, 1033-1049, (2015) ·Zbl 1342.94052号 ·doi:10.4310/CMS.2015.v13.n4.a10 [19] 阴,P;Xin,J,迭代\(Ş_1\)非凸压缩传感的最小化,J.Comput。数学,35,437-449,(2017)·Zbl 1413.90223号 ·doi:10.4208/jcm.1610-m2016-0620 [20] Yu,D.,Deng,L.:自动语音识别:深度学习方法。信号和通信技术。柏林施普林格出版社(2015)·Zbl 1356.68004号 ·数字对象标识代码:10.1007/978-1-4471-5779-3 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。