×

正则化随机学习和在线优化的双重平均方法。 (英语) Zbl 1242.62011年

摘要:我们考虑正则化随机学习和在线优化问题,其中目标函数是两个凸项的和:一个是学习任务的损失函数,另一个是一个简单的正则化项,例如用于促进稀疏性的(l_{1})-范数。我们对Nesterov的对偶平均方法进行了扩展,可以在在线环境中利用正则化结构。在这些方法的每次迭代中,通过求解一个简单的最小化问题来调整学习变量,该问题涉及损失函数所有过去次梯度的运行平均值和整个正则化项,而不仅仅是其次梯度。在(l_{1})-正则化的情况下,我们的方法在获得稀疏解方面特别有效。我们证明了这些方法达到了随机和在线凸优化文献中标准的最优收敛速度或遗憾界。对于损失函数具有Lipschitz连续梯度的随机学习问题,我们还提出了对偶平均方法的加速版本。

MSC公司:

62C99个 统计决策理论
90立方厘米 随机规划
68T05型 人工智能中的学习和自适应系统

软件:

SVM灯
PDF格式BibTeX公司 XML格式引用
全文: 链接