二进制网络

二值化神经网络:训练深度神经网络,权值和激活度限制在+1或-1。我们介绍了一种训练二值化神经网络(BNNs)的方法,即在运行时具有二进制权值和激活的神经网络。训练时采用二进制权值和激活量计算参数梯度。在前向传递过程中,BNNs大大减少了内存大小和访问量,并用位操作取代了大多数算术运算,这有望大大提高功耗效率。为了验证BNNs的有效性,我们在Torch7和Theano框架上进行了两组实验。在这两个方面,BNNs在MNIST、CIFAR-10和SVHN数据集上都取得了几乎最先进的结果。最后,我们编写了一个二进制矩阵乘法GPU内核,它可以比未优化的GPU内核运行MNIST BNN快7倍,而不会损失分类精度。培训和运行我们的BNNs的代码可以在线获得。


zbMATH中的参考文献(参考文献21条)

显示第1到第20个结果,共21个。
按年份排序(引用)
  1. 霍金斯,科尔;刘星;张,郑:通过端到端训练实现紧致神经网络:一种自动排序的贝叶斯张量方法(2022)
  2. 莱纳斯,马琳娜;克拉姆罗斯,凯瑟琳;赫尔德曼,费边;Stiglmayr,Michael:多目标学习方法中通过剪枝权值实现的高效稀疏神经网络(2022)
  3. 约拿单阿施布洛克;Powell,Alexander M.:随机马尔可夫梯度下降和训练低位神经网络(2021)
  4. 刘春雷;丁文瑞;胡、元;张宝昌;刘建庄;郭国栋;David Doermann:带生成对抗性学习的修正二元卷积网络(2021)
  5. 龙,子昂;尹鹏航;辛,杰克:用粗梯度法学习量化神经网络进行非线性分类(2021)
  6. 纳山,尤里;奇米尔,布莱恩;巴斯金,查姆;哲尔托诺茨基,叶夫根尼;横幅,罗恩;布朗斯坦,亚历克斯M。;门德尔森,Avi:损失感知后训练量化(2021)
  7. 沈、左威;杨海照;张世军:深度网络的近似误差为宽度与深度平方根的幂次倒数(2021)
  8. 威尔逊,保罗;Zanasi,Fabio:反向导数上升:学习布尔电路的分类方法(2021)
  9. 陈瑞芝;李玲:用反向传播分析和加速培养深层snn的瓶颈(2020)
  10. 崔春凤;张凯琪;多尔巴耶夫,塔尔加特;古萨克,茱莉亚;伊万,奥塞莱德茨;张政:神经网络的主动子空间:结构分析与普遍攻击(2020)
  11. 冯俊熙;滕启智;李冰;何小海;陈红刚;Li,Yang:基于深度学习的单二维图像多孔介质端到端三维重建框架(2020)
  12. 董银鹏;倪仁坤;李建国;陈玉荣;苏,挂;朱军:学习精确低比特深度神经网络的随机量化(2019)
  13. 王,宝;尹鹏航;贝尔托齐,安德烈·路易丝;布兰廷厄姆,P.杰弗里;欧舍,斯坦利·乔尔;Xin,Jack:实时犯罪预测的深度学习及其国际化(2019)
  14. 尹鹏航;张帅;吕建成;史丹利,奥舍;齐英勇;Xin,Jack:用于深度神经网络全量化的混合粗梯度下降(2019)
  15. 巴尔迪,皮埃尔;萨多夫斯基,彼得;陆志勤:《机器学习:随机反向传播与深度学习通道》(2018)
  16. 意大利胡巴拉;库伯里亚,马修;索德里,丹尼尔;埃尔亚尼夫,冉;Bengio,Yoshua:量化神经网络:训练具有低精度权重和激活的神经网络(2018)
  17. 李乾孝;陈龙;泰城;E、 渭南:基于最大原理的深度学习算法(2018)
  18. 尼德尔,迪安娜;萨博、瑞安;伍尔夫,蒂娜:使用二进制数据进行简单分类(2018)
  19. 索德里,丹尼尔;埃拉德霍弗;纳森,莫尔·什皮格尔;苏瑞亚古纳舍尔;Srebro,Nathan:可分离数据梯度下降的隐含偏差(2018)
  20. 尹鹏航;张帅;吕建成;史丹利,奥舍;齐英勇;Xin,Jack:BinaryRelax:用量化权重训练深层神经网络的松弛方法(2018)