居西平;方彪;严锐;徐晓亮;唐华金 用于低功耗和快速分类的深度峰值神经网络的FPGA实现。 （英语） Zbl 1450.92004年 神经计算。 32，第1期，182-204（2020）. 摘要：尖峰神经网络（SNN）是一种基于尖峰信号进行信息处理的生物似然模型。由于尖峰信号的无差异性，有效训练深度SNN具有挑战性。最近的进展表明，通过转换卷积神经网络（CNN）可以获得高性能SNN。然而，由于尖峰神经元的动态特性，传统结构对大规模SNN的服务较差。在这封信中，我们提出了一种硬件架构，以实现SNN的高效实现。网络中的所有层都映射到一个芯片上，这样可以并行计算不同的时间步长，以减少延迟。我们提出了一种新的峰值最大值法来降低计算复杂度。此外，我们应用基于移位寄存器和粗粒度并行的方法来加速卷积运算。我们还研究了不同编码方法对SNN精度的影响。最后，我们在Xilinx Zynq ZCU102上验证了硬件架构。在MNIST数据集上的实验结果表明，采用八位量化权值时，该算法可以达到98.94%的准确率。此外，它在150 MHz时钟频率下达到每秒164帧（FPS），与CPU实现相比获得了41倍的加速，与GPU实现相比功耗降低了22倍。 MSC公司： 92B20型 生物研究、人工生命和相关主题中的神经网络 92-08 生物问题的计算方法 软件：二进制连接 PDF格式BibTeX公司 XML格式引用 \textit{X.Ju}等人，《神经计算》。32，编号1，182--204（2020；兹bl 1450.92004） 全文： 内政部 参考文献： [1] Amir，A.，Taba，B.，Berg，D.，Melano，T.，McKinstry，J.，Di Nolfo，C.，…Kusnitz，J.（2017）。低功耗、完全基于事件的手势识别系统。IEEE计算机视觉和模式识别会议记录（第7243-7252页）。新泽西州皮斯卡塔韦：IEEE， [2] Brette，R.和Goodman，D.F.（2012年）。在GPU上模拟峰值神经网络。网络：神经系统中的计算，23（4），167-182， [3] Cao，Y.、Chen，Y.和Khosla，D.（2015）。用于节能目标识别的尖峰深度卷积神经网络。国际计算机视觉杂志，113（1），54-66， [4] Chakradhar，S.、Sankaradas，M.、Jakkula，V.和Cadambi，S.（2010年）。一种用于卷积神经网络的动态可配置协处理器。ACM SIGARCH计算机体系结构新闻，38（3），247-257， [5] Courbariaux，M.、Bengio，Y.和David，J.-P.（2015）。二进制连接：在传播过程中使用二进制权重训练深层神经网络。C.Cortes、N.D.Lawrence、D.D.Lee、M.Sugiyama和R.Garnett（编辑），《神经信息处理系统的进展》（第3123-3131页）。纽约州红钩市：Curran。 [6] Davies，M.，Srinivasa，N.，Lin，T.-H.，Chinya，G.，Cao，Y.，Choday，S.H.，…Liao，Y.（2018）。Loihi：具有片上学习功能的神经形态多核处理器。IEEE Micro，38（1），82-99， [7] Diehl，P.U.、Neil，D.、Binas，J.、Cook，M.、Liu，S.-C.和Pfeiffer，M.（2015）。通过权重和阈值平衡快速分类、高精度峰值深层网络。《2015年国际神经网络联合会议论文集》（第1-8页）。新泽西州皮斯卡塔韦：IEEE， [8] Esser，S.K.，Merolla，P.A.，Arthur，J.V.，Cassidy，A.S.，Appuswamy，R.，Andreopoulos，A.，…di Nolfoa，C.（2016）。卷积网络用于快速、节能的神经形态计算。《美国国家科学院院刊》，113（41），11441-11446， [9] Goodfellow，I.、Bengio，Y.和Courville，A.（2016）。深度学习。马萨诸塞州剑桥：麻省理工学院出版社·Zbl 1373.68009号 [10] Heeger，D.（2000）。尖峰产生的泊松模型。斯坦福大学讲义。https://www.cns.nyu.edu/大卫/讲义/poisson.pdf [11] 胡毅（2016）。深度尖峰神经网络中的最大池化操作。神经系统与计算项目报告。https://dgyblog.com/projects-term/res/Max-Pooling网站 [12] 季毅、张毅、李S.、池P.、江C.、曲P.……陈W.（2016）。中子：神经形态硬件约束下的神经网络转换和协同设计。在第49届IEEE/ACM年度微体系结构国际研讨会论文集（第21页）。新泽西州皮斯卡塔韦：IEEE出版社， [13] Lee，J.H.、Delbruck，T.和Pfeiffer，M.（2016）。使用反向传播训练深度峰值神经网络。神经科学前沿，10508， [14] Lichtsteiner，P.、Posch，C.和Delbruck，T.（2008）。128×128 120 dB 15μs延迟异步时间对比度视觉传感器。IEEE固态电路杂志，43（2），566-576， [15] Lillicrap，T.P.、Cownden，D.、Tweed，D.B.和Akerman，C.J.（2016）。随机突触反馈权重支持深度学习的错误反向传播。自然通信，713276， [16] Ma，D.，Shen，J.，Gu，Z.，Zhang，M.，Zhu，X.，Xu，X.…Pan，G.（2017）。达尔文：基于峰值神经网络的神经形态硬件协处理器。系统体系结构杂志，77，43-51， [17] Maass，W.（1997）。尖峰神经元网络：第三代神经网络模型。神经网络，10（9），1659-1671， [18] 梅罗拉，P.A.、亚瑟，J.V.、阿尔瓦雷兹·伊卡扎，R.、卡西迪，A.S.、萨瓦达，J.、阿科皮扬，F.……布雷泽，B.（2014）。具有可扩展通信网络和接口的一百万个脉冲神经元集成电路。科学，345（6197），668-673， [19] Neil，D.和Liu，S.-C.（2014）。Minitaur，一种基于事件驱动FPGA的峰值网络加速器。IEEE超大规模集成（VLSI）系统汇刊，22（12），2621-2628， [20] 乔·N.、莫斯塔法·H.、科拉迪·F.、奥斯瓦尔德·M.、斯特凡尼尼·F.，苏米斯拉夫斯卡·D.和英迪维里·G.（2015）。由256个神经元和128K个突触组成的可重构在线学习尖峰神经形态处理器。神经科学前沿，9141， [21] Querlioz，D.、Bichler，O.和Gamrat，C.（2011年）。模拟对设备变化免疫的基于忆阻器的尖峰神经网络。《2011年国际神经网络联合会议论文集》（第1775-1781页）。新泽西州皮斯卡塔韦：IEEE， [22] Rueckauer，B.、Lungu，I.-A.、Hu，Y.、Pfeiffer，M.和Liu，S.-C.（2017）。将连续值深层网络转换为有效的事件驱动网络，用于图像分类。神经科学前沿，11682， [23] Samadi，A.、Lillicrap，T.P.和Tweed，D.B.（2017）。动态尖峰神经元和固定反馈权重的深度学习。神经计算，29（3），578-602·Zbl 1474.68303号 [24] Schmitt，S.、Klähn，J.、Bellec，G.、Grübl，A.、Guettler，M.、Hartel，A.…Karasenko，V.（2017）。神经形态硬件在环：在脑尺度晶圆级系统上训练深度尖峰网络。《2017年国际神经网络联合会议论文集》（第2227-2234页）。新泽西州皮斯卡塔韦：IEEE， [25] Sze，V.、Chen，Y.-H.、Yang，T.-J.和Emer，J.S.（2017）。深度神经网络的高效处理：教程和调查。IEEE会议录，105（12），2295-2329， [26] Wu，X.，Wang，Y.，Tang，H.，&Yan，R.（2019年）。基于峰值的深度学习的结构时间并行实现。神经网络，113，72-78， [27] Wu，Y.、Deng，L.、Li，G.、Zhu，J.和Shi，L.（2018）。用于训练高性能峰值神经网络的时空反向传播。神经科学前沿， [28] Xu，Y.、Tang，H.、Xing，J.和Li，H.（2017）。深度尖峰神经网络的尖峰序列编码和阈值缩放方法。2017年IEEE计算智能研讨会系列会议记录（第1-6页）。新泽西州皮斯卡塔韦：IEEE， [29] Zhao，B.、Chen，S.和Tang，H.（2014）。使用事件驱动特征提取和基于峰值的学习进行生物启发分类。《2014年国际神经网络联合会议论文集》（第3845-3852页）。新泽西州皮斯卡塔韦：IEEE， [30] Zhao，B.、Ding，R.、Chen，S.、Linares-Barranco，B.和Tang，H.（2015）。使用尖峰神经网络中的类皮质特征对AER运动事件进行前馈分类。IEEE神经网络和学习系统汇刊，26（9），1963-1978， 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。