计算机科学>机器学习
标题: 校准操纵彩票:让所有彩票都可靠
摘要: 尽管稀疏训练已成功用于各种资源受限的深度学习任务,以节省内存、加速训练和减少推理时间,但生成的稀疏模型的可靠性仍有待探索。 以前的研究表明,深度神经网络往往过于自信,我们发现稀疏训练加剧了这个问题。 因此,校准稀疏模型对于可靠的预测和决策至关重要。 本文提出了一种新的稀疏训练方法,用于生成具有改进置信度校准的稀疏模型。 与之前只使用一个掩码控制稀疏拓扑的研究相比,我们的方法使用了两个掩码,包括确定性掩码和随机掩码。 前者通过利用权重和梯度的大小有效地搜索和激活重要权重。 而后者带来了更好的探索,并通过随机更新找到了更合适的权重值。 理论上,我们证明了我们的方法可以看作是概率深高斯过程的层次变分近似。 在多个数据集、模型结构和稀疏性上的大量实验表明,我们的方法将ECE值减少了47.8%,同时保持甚至提高了精度,只略微增加了计算和存储负担。