跳到主要内容
10.1145/3517207.3526982acm会议文章/章节视图摘要出版物页面欧洲系统会议记录会议集合
海报

DyFiP:可解释的基于AI的卷积神经网络动态滤波器剪枝

出版:2022年4月5日出版历史

摘要

滤波器剪枝是加速卷积神经网络(CNN)最有效的方法之一。现有的大多数工作都集中在CNN过滤器的静态剪枝上。在CNN过滤器的动态剪枝中,现有的工作基于在CNN的不同分支之间切换或根据样本的硬度提前退出的思想。这些方法可以减少平均延迟但它们不能减少最长路径延迟推理能力。相比之下,我们提出了一种新的动态过滤器修剪方法,该方法利用可解释的AI和早期粗略预测在CNN的中间层中。这个粗略的预测是使用一个经过训练的简单分支来执行的top-k分类。分支或者以很高的可信度预测输出类,在这种情况下,其余的计算都被忽略了。或者,分支预测输出类位于可能的输出类的子集中。在这个粗略预测之后,只有那些对这个类子集很重要的过滤器才会被评估。使用可解释的AI获得每个输出类的过滤器重要性。使用动态剪枝的概念,我们不仅能够减少推理的平均延迟,还可以减少推理的最长路径延迟。我们提出的动态剪枝架构可以部署在不同的硬件平台上。

参考文献

  1. Berrada,L.、Zisserman,A.和Kumar,M.P.深度top-k分类的平滑损失函数。计算研究库(CoRR)(2018).谷歌学者谷歌学者
  2. Chen,L.-C.,Papandreou,G.,Kokkinos,I.,Murphy,K.和Yuille,A.L.Deeplab:使用深度卷积网络、反褶积和完全连接的crf进行语义图像分割。计算研究库(CoRR)(2017).谷歌学者谷歌学者
  3. Chen,S.和Zhao,Q.《浅化深层网络:基于特征表示的分层修剪》。IEEE模式分析和机器智能汇刊41, 12 (2019), 3048--3056.谷歌学者谷歌学者交叉引用交叉引用
  4. 陈耀福。2019年PyTorch CIFAR10/100上的预训练模型。谷歌学者谷歌学者
  5. Dhamdhere,K.,Sundararajan,M.和Yan,Q.神经元有多重要?计算研究库(CoRR)(2018).谷歌学者谷歌学者
  6. Everingham,M.、Van Gool,L.、Williams,C.K.I.、Winn,J.和Zisserman,A.《2012年PASCAL视觉对象类挑战赛》(VOC2012)结果。http://www.pascal-network.org/challenges/VOC/voc2012/workshop/index.html, 2012.谷歌学者谷歌学者
  7. Han,S.,Pool,J.,Tran,J.和Dally,W.学习有效神经网络的权重和连接神经信息处理系统进展会议记录(2015),C.Cortes、N.Lawrence、D.Lee、M.Sugiyama和R.Garnett,Eds.,Curran Associates,Inc.,第1135-1143页。谷歌学者谷歌学者
  8. Han,Y.、Huang,G.、Song,S.、Yang,L.、Wang,H.和Wang,Y.动态神经网络:一项调查。计算研究库(CoRR)(2021).谷歌学者谷歌学者
  9. He,K.,Gkioxari,G.,Dollár,P.和Girshick,r.Mask r-cnn。计算研究库(CoRR)(2017).谷歌学者谷歌学者
  10. He,K.,Zhang,X.,Ren,S.和Sun,J.图像识别的深度剩余学习。谷歌学者谷歌学者
  11. He,K.,Zhang,X.,Ren,S.和Sun,J.图像识别的深度剩余学习。计算研究库(CoRR)(2015).谷歌学者谷歌学者
  12. 何,Y.,Kang,G.,Dong,X.,Fu,Y.和Yang,Y.用于加速深层卷积神经网络的软滤波器修剪。IJCAI’18,AAAI出版社,第2234-2240页。谷歌学者谷歌学者
  13. Hunter,J.D.Matplotlib:二维图形环境。科学与工程中的计算9, 3 (2007), 90--95.谷歌学者谷歌学者数字图书馆数字图书馆
  14. Kokhlikyan N.、Miglani V.、Martin M.、Wang E.、Reynolds J.、Melnikov A.、Lunova N.和Reblitz-Richardson O.Pytorch captum,2019年。谷歌学者谷歌学者
  15. Krizhevsky,A.、Sutskever,I.和Hinton,G.E.用深度卷积神经网络进行Imagenet分类。神经信息处理系统进展会议论文集(2012),F.Pereira、C.J.C.Burges、L.Bottou和K.Q.Weinberger,Eds.,第25卷,Curran Associates,Inc.,第1106-1114页。谷歌学者谷歌学者
  16. LeCun,Y.和Cortes,C.MNIST手写数字数据库,2010年。谷歌学者谷歌学者
  17. LeCun,Y.、Denker,J.和Solla,S.最佳脑损伤。神经信息处理系统进展会议记录(1989),D.Touretzky,Ed.,Morgan-Kaufmann,第598-605页。谷歌学者谷歌学者
  18. Leontiadis,I.,Laskaridis,S.,Venieris,S.I.,and Lane,N.D.总是个性化的:利用提前退出实现高效的CNN设备个性化。计算研究库(CoRR)(2021).谷歌学者谷歌学者数字图书馆数字图书馆
  19. Li,H.、Kadav,A.、Durdanovic,I.、Samet,H.和Graf,H.P.修剪过滤器,以实现高效的转换。计算研究库(CoRR)(2016年)。谷歌学者谷歌学者
  20. Li,H.、Kadav,A.、Durdanovic,I.、Samet,H.和Graf,H.P.修剪过滤器,以实现高效的转换。计算研究库(CoRR)(2016年)。谷歌学者谷歌学者
  21. 林,J.,饶,Y.,卢,J.和周,J.运行时神经修剪。神经信息处理系统进展会议记录(2017年),I.Guyon,U.v.Luxburg,S.Bengio,H.Wallach,R.Fergus,S.Vishwanathan,and R.Garnett,Eds.,Curran Associates,Inc.,第2181-2191页。谷歌学者谷歌学者
  22. Molchanov,P.、Tyree,S.、Karras,T.、Aila,T.和Kautz,J.修剪卷积神经网络以实现资源高效传输学习。计算研究库(CoRR)(2016年)。谷歌学者谷歌学者
  23. Nikolaos,F.、Theodorakopoulos,I.、Pothos,V.和Vassalos,E.cnn网络的动态修剪。2019年第十届信息、智能、系统和应用国际会议(2019年),第1-5页。谷歌学者谷歌学者交叉引用交叉引用
  24. Paszke,A.、Gross,S.、Massa,F.、Lerer,A.、Bradbury,J.、Chanan,G.、Killeen,T.、Lin,Z.、Gimelshein,N.、Antiga,L.、Desmaison,A.、Kopf,A.,Yang,E.、DeVito,Z.,Raison,M.、Tejani,A.、Chilamkurthy,S.,Steiner,B.、Fang,L.,Bai,J.和Chintala,S.Pythort:一个命令式、高性能的深度学习库。神经信息处理系统年度会议记录(2019年),第8024--8035页。谷歌学者谷歌学者
  25. 佩德雷戈萨(Pedregosa,F.)、瓦罗奎斯(Varoqueux,G.)、格拉姆福特(Gramfort,A.)、米歇尔(Michel,V.)、提里昂(Thirion,B.)、格里塞尔(Grisel,O.)、布隆德尔(Blondel,M.)、普雷滕霍弗(Prettenhofer,P.)、韦斯(Weiss,R.)、杜堡(Dubourg,V.,Vanderplas,J.)、帕索斯(Passos,A.),库纳波(Cournap。机器学习研究杂志12(2011),2825-2830。谷歌学者谷歌学者数字图书馆数字图书馆
  26. Ronneberger,O.、Fischer,P.和Brox,T。U-Net:生物医学图像分割的卷积网络。查姆施普林格,2015年,第234-241页。谷歌学者谷歌学者
  27. Ruder,S.梯度下降优化算法概述。计算研究库(CoRR)(2016年)。谷歌学者谷歌学者
  28. Sabih,M.、Hannig,F.和Teich,J.利用可解释人工智能量化和修剪深层神经网络。计算研究库(CoRR)(2020).谷歌学者谷歌学者
  29. Shrikumar,A.、Greenside,P.和Kundaje,A.通过传播激活差异学习重要特征。计算研究库(CoRR)(2017).谷歌学者谷歌学者
  30. Srinivas,S.和Babu,R.V.深度神经网络的无数据参数修剪。计算研究库(CoRR)(2015).谷歌学者谷歌学者
  31. Sundararajan,M.、Taly,A.和Yan,Q.深度网络公理化归因。计算研究库(CoRR)(2017).谷歌学者谷歌学者
  32. Teeraptittayanon,S.、McDanel,B.和Kung,H.T.BranchyNet:通过早期退出深度神经网络进行快速推理。第23届模式识别国际会议(ICPR)会议记录(2016),IEEE,第2464-2469页。谷歌学者谷歌学者交叉引用交叉引用
  33. Tjoa,E.和Guan,C.关于可解释人工智能(XAI)的调查:面向医学XAI。计算研究库(CoRR)(2019).谷歌学者谷歌学者
  34. van der Walt,S.、Colbert,S.C.和Varoquaux,G.《NumPy数组:高效数值计算的结构》。科学与工程计算13, 2 (2011), 22--30.谷歌学者谷歌学者数字图书馆数字图书馆
  35. Van Rossum,G.和Drake,F.L。Python 3参考手册。CreateSpace,美国加利福尼亚州斯科茨谷,2009年。谷歌学者谷歌学者
  36. You,Z.,Yan,K.,Ye,J.,Ma,M.和Wang,P.Gate装饰器:用于加速深层卷积神经网络的全局过滤器修剪方法。神经信息处理系统进展会议记录(2019年),第2130--2141页。谷歌学者谷歌学者

建议

评论

登录选项

请检查您是否可以通过登录凭据或您的机构访问此文章以获得完全访问权限。

登录

完全访问权限

  • 发布于

    封面图片ACM会议
    EuroMLSys’22:第二届欧洲机器学习和系统研讨会会议记录
    2022年4月
    121页
    国际标准图书编号:9781450392549
    内政部:2014年10月14日/1517207

    版权所有©2022所有者/作者

    如果复制品不是为了盈利或商业利益而制作或分发的,并且复制品的第一页载有本通知和完整引文,则允许免费制作本作品的部分或全部数字或硬拷贝以供个人或课堂使用。必须尊重本作品第三方组件的版权。对于所有其他用途,请联系所有者/作者。

    发布者

    计算机协会

    美国纽约州纽约市

    出版历史

    • 出版:2022年4月5日

    检查更新

    限定符

    • 海报

    接受率

    总体验收率18属于26提交文件,69%

    即将召开的会议

    25年欧洲系统
    第二十届欧洲计算机系统会议
    2025年3月30日-4月3日
    鹿特丹,荷兰

PDF格式

以PDF文件的形式查看或下载。

PDF格式

电子阅读器

使用eReader联机查看。

电子阅读器