计算机科学>机器学习
标题: 墨鱼:无需调整的低水位模型训练
摘要: 最近的研究表明,训练低阶神经网络可以有效地减少可训练参数的总数,而不会牺牲预测精度,从而实现端到端的加速。 然而,低秩模型训练需要调整几个额外的因子分解超参数,例如每层因子分解的秩。 在本文中,我们通过引入墨鱼(Cuttlefish)来应对这一挑战,墨鱼是一种自动化的低阶训练方法,无需调整因子分解超参数。 乌贼利用这一观察结果,即经过数个时期的全面训练后,每层的稳定等级(即真实等级的近似值)稳定在一个恒定值。 一旦所有层的稳定秩收敛,乌贼就会从全秩训练切换到低秩训练,从而将每个因子分解的维数设置为其相应的稳定性秩。 我们的结果表明,墨鱼生成的模型比全秩模型小5.6倍,端到端训练过程快1.2倍,同时保持相当的准确性。 此外,墨鱼的表现优于最先进的低阶模型训练方法和其他显著基线。 我们实现的源代码可以在以下位置找到: 此https URL .