GXNOR-网络 swMATH ID: 32923 软件作者： 邓磊；焦鹏；裴靖；吴振志；李国奇 描述： GXNOR-Net：在一个统一的离散化框架下，用三值权重和无全精度记忆的激活训练深度神经网络。虽然深度神经网络（DNN）是开启人工智能时代的革命性力量，但众所周知的巨大硬件开销对其应用提出了挑战。最近，一些二进制和三值网络，其中昂贵的乘法累加操作可以被累加甚至二进制逻辑操作取代，使得DNN的片上训练非常有前景。因此，迫切需要构建一个体系结构，将这些网络包含在一个统一的框架下，以实现更高的性能和更少的开销。为此，还有两个基本问题有待解决。第一个问题是当神经元激活离散时如何实现反向传播。第二个问题是如何在训练阶段去除全精度隐藏权重，以打破内存/计算消耗的瓶颈。为了解决第一个问题，我们提出了一种多步骤神经元激活离散化方法和导数近似技术，使其能够在离散DNN上实现反向传播算法。而对于第二个问题，我们提出了一种离散状态转移（DST）方法来约束离散空间中的权重，而不保留隐藏的权重。通过这种方式，我们构建了一个统一的框架，将二元或三元网络作为其特例进行扩展，并在网站url中提供了一个启发式算法{https://github.com/AcrossV/Gated-XNOR}. 更具体地说，我们发现当权重和激活都变成三值时，DNN可以简化为稀疏二进制网络，称为门控XNOR网络（GXNOR-Nets），因为只有非零权重和非零激活事件才能使控制门在原始二进制网络中启动XNOR逻辑操作。这为高效移动智能提供了事件驱动的硬件设计。与最先进的算法相比，我们实现了先进的性能。此外，可以灵活修改离散空间中的计算稀疏性和状态数，使其适用于各种硬件平台。 主页： https://www.sciencedirect.com/science/article/abs/pii/S0893608018300108 源代码： https://github.com/AcrossV/Gated-XNOR 关键词： GXNOR-网络；离散状态转换；三值神经网络；稀疏二进制网络 相关软件： 阿波罗3；FitNets公司；ProxylessNAS公司；AlexNet公司；AMC公司；二进制网络；亚当；ImageNet公司；深度愚人；SpiNNaker公司；二进制连接；AxNN公司；github 引用于： 2文件 标准条款 1出版物描述软件，包括1出版物以zbMATH为单位 年份 GXNOR-Net：在统一的离散化框架下，在没有全精度记忆的情况下，用三元权重和激活来训练深度神经网络。 Zbl 1434.68504号邓磊；焦、彭；裴静；吴振志；李国奇 2018 全部的 前5名11位作者引用 1 崔春峰 1 塔尔加特·多尔巴耶夫 1 邓磊 1 朱莉娅·古萨克 1 焦、彭 1 李国奇 1 Oseledets、Ivan Valer’evich 1 裴静 1 吴振志 1 张凯奇 1 张，郑 2篇连载文章中引用 1 神经网络 1 SIAM数据科学数学杂志 在4个字段中引用 1 线性代数和多线性代数；矩阵理论（15-XX） 1 统计学（62-XX） 1 计算机科学（68至XX） 1 运筹学、数学规划（90-XX） 按年份列出的引文