稀疏数据的稳定稀疏在线学习
马玉亭、田正; 18(131):1−36, 2017.
摘要
随机梯度下降（SGD）通常用于大规模机器学习问题的优化。Lanford等人（2009）引入了一种稀疏在线学习方法，通过截断梯度来诱导稀疏性。然而，对于高维稀疏数据，由于特征稀疏性的异质性，该方法存在收敛速度慢和方差大的问题。为了缓解这个问题，我们引入了一种稳定的截断随机梯度下降算法。我们在权重向量上采用了一种软阈值方案，其中所施加的收缩适应于每个特征中可用的信息量。通过结合信息截断的稳定性选择，进一步控制结果稀疏权重向量的可变性。为了更好地收敛，我们在截断率上采用了退火策略，从而在学习稀疏权重向量时在探索和利用之间取得平衡。数值实验表明，在预测精度方面，我们的算法与原始截断梯度SGD相比具有更好的稀疏性和稳定性。
[腹肌]
[pdf格式][围兜]
