×

具有一组节点可变激活函数的深度神经网络。 (英语) 兹比尔1468.68184

摘要:在本研究中,我们提出了一组具有节点可变激活函数的深度神经网络。节点的特征学习能力受到所选激活函数的影响,其中索引较小的节点在训练过程中变得越来越敏感。因此,节点学习到的特征按照节点索引的重要性排序,以便更敏感的节点与更重要的特征相关联。提出的网络不仅学习输入特征,还学习这些特征的重要性。可以对建议网络中重要性较低的节点进行修剪,以降低网络的复杂性,并且可以对修剪后的网络进行再训练,而不会导致性能损失。我们使用浅层和深层网络以及从现有网络转移的深层网络验证了所提出方法的特征排序特性。

MSC公司:

68T07型 人工神经网络与深度学习
62H25个 因子分析和主成分;对应分析
PDF格式BibTeX公司 XML格式引用

参考文献:

[1] 巴尔迪,P。;Hornik,K.,《神经网络和主成分分析:从没有局部极小值的示例中学习》,神经网络,253-58(1989)
[2] 北班萨尔。;陈,X。;Wang,Z.,在训练深层神经网络时,我们能从正交正则化中获得更多吗?(2018),arXiv预印arXiv:1810.09102
[3] Bertsekas,D.P.,非线性规划(1999),雅典娜科学贝尔蒙特·Zbl 1015.90077号
[4] Chauvin,Y.,最佳使用隐藏单元的反向传播算法,(神经信息处理系统进展(1989)),519-526
[5] Cheng,Y。;王,D。;周,P。;Zhang,T.,深度神经网络模型压缩和加速研究(2017),arXiv预印本arXiv:1710.09282
[6] Chong,E.K。;Zak,S.H.,优化导论,第76卷(2013),John Wiley&Sons·Zbl 1266.90001号
[7] 医学博士柯林斯。;Kohli,P.,《内存有界深度卷积网络》(2014),arXiv预印本arXiv:1412.1442
[8] 邓,J。;Dong,W。;Socher,R。;李立杰。;李凯。;Fei-Fei,L.,Imagenet:大型分层图像数据库,(2009 IEEE计算机视觉和模式识别会议(2009),IEEE),248-255
[9] 杜,Y。;Fu,Y。;Wang,L.,基于骨架的卷积神经网络动作识别,(2015年第三届IAPR亚洲模式识别会议(2015),IEEE),579-583
[10] 韩,S。;毛,H。;Dally,W.J.,《深度压缩:用剪枝、训练量化和哈夫曼编码压缩深度神经网络》(2015),arXiv预印本arXiv:1510.00149
[11] 韩,S。;Pool,J。;Tran,J。;Dally,W.,学习有效神经网络的权重和连接,(神经信息处理系统进展(2015)),1135-1143
[12] Hanson,S.J。;Pratt,L.Y.,将最小网络构建的偏差与反向传播进行比较,(神经信息处理系统的进展(1989)),177-185
[13] 哈西比,B。;Stok,D.G.,《网络修剪的二阶导数:最佳脑外科医生》,(神经信息处理系统进展(1993)),164-171
[14] Haykin,S.,《神经网络,综合基础技术报告》(1994),麦克米兰·Zbl 0828.68103号
[15] He,K.、Zhang,X.、Ren,S.和Sun,J.(2016)。用于图像识别的深度残差学习。《IEEE计算机视觉和模式识别会议论文集》(第770-778页)。
[16] He,Y.,Zhang,X.,&Sun,J.(2017)。用于加速超深层神经网络的通道修剪。IEEE计算机视觉国际会议论文集(第1389-1397页)。
[17] 黄,L。;刘,X。;B.朗。;Yu,A.W。;Wang,Y。;Li,B.,正交权重归一化:深度神经网络中多相依stiefel流形优化的解决方案,(第三十二届AAAI人工智能会议(2018))
[18] 石川,M.,《结构学习与遗忘》,神经网络,9509-521(1996)
[19] Karmin,E.,修剪反向传播训练网络的简单程序,IEEE神经网络汇刊,1239-242(1990)
[20] Kingma,D.P。;Ba,J.,Adam:随机优化方法(2014),arxiv.org
[21] Krizhevsky,A。;Hinton,G.,《从微小图像中学习多层特征》(2009年)
[22] Krizhevsky,A。;Sutskever,I。;Hinton,G.E.,用深度卷积神经网络进行Imagenet分类,(神经信息处理系统进展(2012)),1097-1105
[23] 列别捷夫,V。;Lempitsky,V.,使用群体性脑损伤的快速转换,(2016年IEEE计算机视觉和模式识别会议(2016),IEEE),2554-2564
[24] LeCun,Y。;博图,L。;Y.本吉奥。;Haffner,P.,《基于梯度的学习应用于文档识别》,IEEE会议记录,862278-2324(1998)
[25] LeCun,Y。;Denker,J.S。;Solla,S.A.,《最佳脑损伤》(神经信息处理系统进展(1990)),598-605
[26] 李,H。;A.卡达夫。;杜丹诺维奇,I。;萨梅特,H。;Graf,H.P.,《高效卷积的剪枝过滤器》(2016),arXiv预印本arXiv:1608.08710
[27] 露西,P。;科恩,J.F。;Kanade,T。;Saragih,J。;安巴达尔,Z。;Matthews,I.,《扩展cohn-kanade数据集(ck+):动作单位和情绪特定表达的完整数据集》,(2010年IEEE计算机学会计算机视觉和模式识别研讨会(2010年),IEEE),94-101
[28] 罗,J.H。;Wu,J.,一种基于熵的cnn压缩剪枝方法(2017),arXiv预印本arXiv:1706.05791
[29] Luo,J.H.、Wu,J.和Lin,W.(2017)。Thinet:用于深度神经网络压缩的过滤器级剪枝方法。IEEE计算机视觉国际会议论文集(第5058-5066页)。
[30] Mozer,M.C。;Smolensky,P.,《骨骼化:通过相关性评估从网络中修剪脂肪的技术》,(神经信息处理系统进展(1989),107-115
[31] Reed,R.,《剪枝算法——一项调查》,IEEE神经网络汇刊,4740-747(1993)
[32] 罗德里格斯,P。;González,J。;库库鲁尔,G。;贡福斯,J.M。;Roca,X.,《用局部约束去相关正则化cnn》(2016),arxiv预印本。arxiv预印本arxiv:1611.01967
[33] Rumelhart,D.E。;辛顿,G.E。;Williams,R.J.,通过反向传播错误学习表征,《自然》,323533(1986)·Zbl 1369.68284号
[34] Simonyan,K。;Zisserman,A.,《用于大规模图像识别的极深卷积网络》(2014),arXiv预印本arXiv:1409.1556
[35] Srinivas,S。;Babu,R.V.,深度神经网络的无数据参数修剪(2015),arXiv预印本arXiv:1507.06149
[36] Xu,X。;帕克,M.S。;Brick,C.,《混合修剪:在边缘设备上进行快速推理的更薄稀疏网络》(Hybrid pruning:Thinner sparse networks for fast inference on edge devices)(2018年),arXiv预印本arXiv:1811.00482
[37] Yang,Z.、Moczulski,M.、Denil,M.,de Freitas,N.、Smola,A.和Song,L.等人(2015)。油炸卷心菜。IEEE计算机视觉国际会议论文集(第1476-1483页)。
[38] 周,H。;Alvarez,J.M。;Porikli,F.,《少即是多:迈向紧凑型cnns》(欧洲计算机视觉会议(2016),施普林格),662-677
[39] 朱,X。;周,W。;Li,H.,通过去相关正则化改进深度神经网络稀疏性,(IJCAI(2018)),3264-3270
[40] 庄,Z。;Tan,M。;庄,B。;刘杰。;郭毅。;Wu,Q.,深度神经网络的辨别感知信道修剪,(神经信息处理系统进展(2018)),875-886
此参考列表基于出版商或数字数学图书馆提供的信息。它的项目与zbMATH标识符启发式匹配,并且可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。