SGDR公司

随机梯度下降与热重启。在无梯度优化中,重新启动技术是处理多峰函数的常用方法。部分热重启动在基于梯度的优化中也越来越流行,以提高处理病态函数的加速梯度格式的收敛速度。本文提出了一种简单的随机梯度下降温重启技术,以提高其在训练深层神经网络时的任何时候的性能。我们在CIFAR和CIFAR上分别展示了其新性能的21.16%和14.10%。我们还展示了它在脑电记录数据集和ImageNet数据集的低采样版本上的优势。我们的源代码可以在https://github.com/loshchil/SGDR上找到