研究论文

免费访问

利用XNOR网络在边缘实现人工智能

作者:

穆罕默德拉斯特加里,

维森特奥多涅斯,

约瑟夫雷德蒙、和

阿里法尔哈迪作者信息和声明

ACM通信,体积63,问题12

页83-90

https://doi.org/10.1145/3429945

出版:2020年11月17日出版历史

所有格式 PDF格式

摘要

近年来，我们看到越来越多的边缘设备被消费者采用，在他们的家中（例如，智能摄像头和门铃），在他们汽车中（例如驾驶员辅助系统），甚至在他们的个人身上（例如，智慧手表和戒指）。航空航天、农业、医疗保健、运输和制造业等行业也出现了类似的增长。与此同时，设备越来越小，支持大多数形式人工智能的深度神经网络（DNN）越来越大，需要更多的计算能力、内存和带宽。这在人工智能的进步和开发边缘智能设备的能力之间造成了越来越大的脱节。在本文中，我们提出了一种在边缘运行最先进AI算法的新方法。我们提出了两种标准卷积神经网络的有效逼近：二元加权网络（BWN）和XNOR网络。在BWN中，滤波器用二进制值近似，从而节省了32倍的内存。在XNOR-网络中，滤波器和卷积层的输入都是二进制的。XNOR网络主要使用二进制运算近似卷积。这使得卷积运算速度提高了58倍（就高精度运算的数量而言），节省了32倍的内存。XNOR-Nets提供了在CPU（而非GPU）上实时运行最先进网络的可能性。我们的二进制网络简单、准确、高效，能够完成具有挑战性的视觉任务。我们对ImageNet分类任务的方法进行了评估。BWN版本的AlexNet的分类精度与全精度AlexNetwork相同。我们的代码位于：网址：//allenai.org/plato/xnornet。

工具书类

[1]

Bagheriezhad，H.、Horton，M.、Rastegari，M.和Farhadi，A.标签精炼：通过标签进展改进图像网分类。arXiv预印arXiv:1805.02641（2018）。

[2]

Courbariaux，M.，Hubara，I.，Soudry，D.，El-Yaniv，R.，Bengio，Y.二值化神经网络：训练权重和激活限制为+1或-1的深层神经网络。arXiv预印arXiv:1602.02830（2016）。

[3]

Courbariaux，M.，Bengio，Y.，David，J.-P.Binaryconnect：在传播期间用二进制权重训练深层神经网络。在神经信息处理系统研究进展(2015), 3105--3113.

数字图书馆

[4]

吉尔西克，R·法斯特R-CNN。在IEEE国际计算机视觉会议论文集(2015), 1440--1448.

[5]

Girshick，R.、Donahue，J.、Darrell，T.、Malik，J.用于准确对象检测和语义分割的丰富特征层次。在IEEE计算机视觉和模式识别会议记录(2014), 580--587.

数字图书馆

[6]

M.戈特默。将现实与虚拟与Microsoft Hololens融合, 2015.

[7]

Hannun，A.、Case，C.、Casper，J.、Catanzaro，B.、Diamos，G.、Elsen，E.、Prenger，R.、Satheesh，S.、Sengupta，S.和Coates，A.等人。深度语音：扩大端到端语音识别。arXiv预印arXiv:1412.5567（2014）。

[8]

He，K.，Zhang，X.，Ren，S.，Sun，J.图像识别的深度剩余学习。在IEEE计算机视觉和模式识别会议记录(2016), 770--778.

[9]

Ioffe，S.，Szegedy，C.批处理规范化：通过减少内部协变量偏移来加速深层网络训练。arXiv预印arXiv:1502.03167（2015）。

数字图书馆

[10]

Kingma，D.，Ba，J.Adam：一种随机优化方法。arXiv预印arXiv:1412.6980（2014）。

[11]

Krizhevsky，A.，Sutskever，I.，Hinton，G.E.用深度卷积神经网络进行Imagenet分类。在神经信息处理系统研究进展(2012), 097--1105.

数字图书馆

[12]

Long，J.，Shelhamer，E.，Darrell，T.语义分割的完全卷积网络。在IEEE计算机视觉和模式识别会议记录(2015), 3431--3440.

[13]

Oculus，V.Oculus-rift-用于3D游戏的虚拟现实耳机，2012年。网址：http://www.oculusvr.com。

[14]

Rastegari，M.、Ordonez，V.、Redmon，J.、Farhadi，A.XNOR-Net：使用二进制卷积神经网络的图像分类。在欧洲计算机视觉会议（2016），施普林格。

[15]

Redmon，J.Darknet：C中的开源神经网络，2013-2016年。http://pjreddie.com/darknet/。

[16]

Ren，S.，He，K.，Girshick，R.，Sun，J.Faster R-CNN：利用区域提议网络实现实时目标检测。在神经信息处理系统研究进展(2015), 91--99.

数字图书馆

[17]

Simonyan，K.，Zisserman，A.用于大规模图像识别的深度卷积网络。arXiv预印本arXiv:1409.1556（2014）。

[18]

Szegedy，C.，Liu，W.，Jia，Y.，Sermanet，P.，Reed，S.，Angelov，D.，Erhan，D.，Vanhoucke，V.，Rabinovich，A.通过卷积深入研究。在IEEE计算机视觉和模式识别会议记录(2015), 1--9.

引用人

法尔考G费雷拉J(2023)到PiM或不到PiMACM通信10.1145/358999566:6(48-55)在线发布日期：2023年5月24日
https://dl.acm.org/doi/10.1145/3589995
法尔考G费雷拉J(2023)到PiM或不到PiM排队10.1145/358050320:6(9-34)在线发布日期：2023年1月30日
https://dl.acm.org/doi/10.1145/3580503
扎曼Z薛伟高拉瓦拉姆P胡伟Jha S公司(2022)BloomXNOR-Net公司第13届ACM学生无线会议记录、学生会议记录和学生研讨会记录10.1145/3556563.3558534(1-3)在线发布日期：2022年10月17日
https://dl.acm.org/doi/10.1145/3556563.3558534
显示更多引用者

索引术语

使用XNOR-网络在边缘启用AI
1. 计算方法
  1. 机器学习
    1. 机器学习方法
      1. 神经网络
2. 硬件
  1. 集成电路
    1. 半导体存储器
      1. 动态存储器

建议

扩展边缘：在边缘设备上深度重用，实现高效的Winograd CNN推断
边缘设备上的深度学习变得越来越重要，尤其是随着物联网设备的爆炸式增长。例如，2022年连接到物联网的设备总数达到290亿。卷积神经网络（CNN），作为常见的深度。。。
阅读更多信息
边缘检测：小波与DSP处理器上的传统方法

边缘检测是任何计算机、机器人或机器视觉系统的基石。实时边缘检测是许多关键应用的预处理，例如装配线检查和监视。基于小波的算法正在取代。。。
阅读更多信息
基于tetrolet变换的自适应边缘保持图像去噪技术

去噪一直是图像处理中的标准问题之一。在去噪过程中，总是希望保留重要的特征，例如边缘、角落和其他尖锐的结构。小波变换在边缘检测中得到了广泛的应用。。。
阅读更多信息

评论

信息和贡献者

问询处

发布于

ACM的封面图像通信

ACM通信第63卷第12期

2020年12月

92页

国际标准编号：0001-0782

EISSN公司：1557-7317

内政部：10.1145/3437360

编辑：
安德鲁·钱恩
纽约计算机械协会

版权所有©2020 ACM。

如果复制品不是为了盈利或商业利益而制作或分发的，并且复制品的第一页载有本通知和完整引文，则允许免费制作本作品的全部或部分数字或硬拷贝以供个人或课堂使用。必须尊重作者以外的其他人对本作品组成部分的版权。允许用信用证进行摘要。要以其他方式复制或重新发布，在服务器上发布或重新发布到列表，需要事先获得特定许可和/或付费。从请求权限[电子邮件保护].

出版商

计算机协会

美国纽约州纽约市

出版历史

出版：2020年11月17日

在CACM中发布体积63,问题12

权限

请求对此文章的权限。

检查更新

限定符

研究文章
研究
推荐

贡献者

其他指标

查看文章指标

文献计量学和引文

文献计量学

文章指标

9
引文总数
查看引文
9,617
总下载次数

下载次数（过去12个月）504
下载次数（最近6周）112

其他指标

查看作者指标

引文

引用人

法尔考G费雷拉J(2023)到PiM或不到PiMACM通信10.1145/358999566:6(48-55)在线发布日期：2023年5月24日
https://dl.acm.org/doi/10.1145/3589995
法尔考G费雷拉J(2023)到PiM或不到PiM排队10.1145/358050320:6(9-34)在线发布日期：2023年1月30日
https://dl.acm.org/doi/10.1145/3580503
扎曼Z薛伟高拉瓦拉姆P胡WJha S公司(2022)BloomXNOR网络第13届ACM学生无线会议记录、学生会议记录和学生研讨会记录10.1145/3556563.3558534(1-3)在线发布日期：2022年10月17日
https://dl.acm.org/doi/10.1145/3556563.3558534
王莉（Wang L）赵C杨斯（Yang S）杨X麦肯J(2022)王牌ACM通信10.1145/352908766:1(62-73)在线发布日期：2022年12月20日
https://dl.acm.org/doi/10.1145/3529087
金·S金·M(2022)增强的位置敏感哈希：用于源分离的鉴别、高效和可伸缩二进制代码IEEE/ACM音频、语音和语言处理汇刊10.1109/TASLP.2022.3196877号30(2659-2672)在线发布日期：2022年
https://doi.org/10.109/TASLP.2022.3196877
Shiotsu Y公司Sugahara S公司(2022)基于超低电压保持SRAM的能量最小点操作二值化神经网络加速器宏IEEE探索性固态计算器件和电路杂志10.1109/JXCDC2022.3225744号8:2(134-144)在线发布日期：2022年12月
https://doi.org/10.1109/JXCDC.2022.3225744
A和S拉维LKotecha K公司第五章IV S公司(2022)用于二值化神经网络的可重构、硬件高效的自适应量化模型加速器计算机与电气工程2016年10月10日/j.compleceng.2022.108302102(108302)在线发布日期：2022年9月
https://doi.org/10.1016/j.compleceng.2022.108302
刘X方Y杨L李Z瓦利德A(2022)用于压缩和加速深层神经网络的高性能张量分解数据处理张量10.1016/B978-0-12-824447-0.00015-7(293-340)在线发布日期：2022年
https://doi.org/10.1016/B978-0-12-824447-0.00015-7
Njor E公司马德森JFafoutis X型(2022)tinyML预测性维护入门：输入和模型优化人工智能应用和创新10.1007/978-3-031-08337-2_6(67-78)在线发布日期：2022年6月10日
https://doi.org/10.1007/978-3-031-08337-2_6

视图选项

查看选项

PDF格式

以PDF文件查看或下载。

电子阅读器

使用联机查看电子阅读器.

电子阅读器

数字版

以数字版本查看这篇文章。

杂志网站

在杂志网站上查看这篇文章（外部）

获取访问权限

登录选项

检查您是否可以通过登录凭据或您的机构访问本文。

完全访问权限

获取此文章

媒体

数字

其他

桌子

查看问题目录