多雷法网

DoReFa网络:训练具有低比特宽梯度的低比特宽卷积神经网络。我们提出了DoReFa网络,一种利用低比特宽度参数梯度训练低比特宽权值和激活度的卷积神经网络的方法。特别是,在后向传递期间,参数梯度在传播到卷积层之前被随机量化为低比特宽数。由于前向/后向传递过程中的卷积现在可以分别在较低的位宽度权重和激活/梯度上运行,所以DoReFa网络可以使用位卷积核来加速训练和推理。此外,由于位卷积可以在CPU、FPGA、ASIC和GPU上高效地实现,DoReFa网为在这些硬件上加速低比特宽神经网络的训练开辟了道路。我们在SVHN和ImageNet数据集上的实验证明,DoReFa网络可以达到与32位同类网络相当的预测精度。例如,从AlexNet派生的DoReFa网络具有1位权重,2位激活,可以使用6位梯度从头开始训练,从而在ImageNet验证集上获得46.1%的top-1准确率。DoReFa-Net-AlexNet模型公开发布。