二进制连接

二进制连接:在传播过程中用二进制权重训练深层神经网络。深度神经网络(DNN)在广泛的任务中取得了最先进的结果,在大的训练集和大的模型中获得了最好的结果。在过去,gpu之所以能够实现这些突破,是因为它们的计算速度更快。在未来,在训练和测试时间的更快的计算对于进一步的进步和低功耗设备上的消费者应用可能是至关重要的。因此,人们对深度学习专用硬件(DL)的研究和开发产生了极大的兴趣。二进制权重,即仅限于两个可能值(例如-1或1)的权重,通过用简单的累加代替许多乘法-累加运算,将给专用的DL硬件带来极大的好处,因为乘法器是神经网络数字实现中最需要空间和功耗的组件。我们介绍了BinaryConnect,一种在前向和后向传播过程中使用二进制权重训练DNN的方法,同时保持了累积梯度的存储权重的精度。与其他丢失方案一样,我们证明了BinaryConnect是正则化器,并且我们在置换不变MNIST、CIFAR-10和SVHN上获得了接近最新的结果。


zbMATH中的参考文献(参考文献24条)

显示第1到第20个结果,共24个。
按年份排序(引用)
  1. 约拿单阿施布洛克;Powell,Alexander M.:随机马尔可夫梯度下降和训练低位神经网络(2021)
  2. 康诺利,迈克尔P。;海姆,尼古拉斯J。;Mary,Theo:随机舍入及其概率向后误差分析(2021)
  3. 甘贝拉,克劳迪奥;加达,比桑;Naoum Sawaya,Joe:机器学习的优化问题:调查(2021)
  4. 格里彭,维森特;罗威,马提亚斯;弗梅特,弗朗克:关于复制模拟退火(2021)的一些评论
  5. 龙,子昂;尹鹏航;辛,杰克:用粗梯度法学习量化神经网络进行非线性分类(2021)
  6. 莱布兰德,埃里克;Saab,Rayan:神经网络量化的贪婪算法(2021)
  7. 聂,燕;张太平;赵林昌;马新迪;唐元炎;刘晓宇:用于单目标跟踪的带局部二元卷积网络的连体金字塔残差模块(2021)
  8. 雷宾,丹尼斯;Petrov,Tatjana:随机化学反应网络的自动深度抽象(2021)
  9. 威尔逊,保罗;Zanasi,Fabio:反向导数上升:学习布尔电路的分类方法(2021)
  10. 朱西平;方、彪;燕瑞;徐晓亮;唐华金:用于低功耗快速分类的深脉冲神经网络的FPGA实现(2020)
  11. 横井,索马;大冢、大冢;Sato,Issei:变换随机梯度MCMC的弱逼近(2020)
  12. 董银鹏;倪仁坤;李建国;陈玉荣;苏,挂;朱军:学习精确低比特深度神经网络的随机量化(2019)
  13. 王,宝;尹鹏航;贝尔托齐,安德烈·路易丝;布兰廷厄姆,P.杰弗里;欧舍,斯坦利·乔尔;Xin,Jack:实时犯罪预测的深度学习及其国际化(2019)
  14. 尹鹏航;张帅;吕建成;史丹利,奥舍;齐英勇;Xin,Jack:用于深度神经网络全量化的混合粗梯度下降(2019)
  15. 拜登,在ılım guneş;珠穆特,巴拉克A。;拉杜尔,亚历克赛·安德烈耶维奇;Siskind,Jeffrey Mark:机器学习中的自动差异化:调查(2018)
  16. 邓磊;焦鹏;裴静;吴振志;李国琦:GXNOR网络:在统一离散化框架下,用三元权值和无全精度记忆的激活训练深层神经网络(2018)
  17. 意大利胡巴拉;库伯里亚,马修;索德里,丹尼尔;埃尔亚尼夫,冉;Bengio,Yoshua:量化神经网络:训练具有低精度权重和激活的神经网络(2018)
  18. 李乾孝;陈龙;泰城;E、 渭南:基于最大原理的深度学习算法(2018)
  19. 尼德尔,迪安娜;萨博、瑞安;伍尔夫,蒂娜:使用二进制数据进行简单分类(2018)
  20. 孙健;Li,Jie:基于在线强化学习的物理耦合网络离散时间系统的稳定分布式神经控制器(2018)