在线学习和随机优化的自适应子梯度方法
约翰·杜奇（John Duchi）、伊拉德·哈赞（Elad Hazan）、约拉姆·辛格（Yoram Singer）; 12(61):2121−2159, 2011.
摘要
我们提出了一系列新的次梯度方法，这些方法动态地结合了在早期迭代中观察到的数据的几何知识，以执行更具信息量的基于梯度的学习。隐喻地说，这种适应使我们能够在干草堆中以非常有预见性但很少见到的特征的形式找到针。我们的范式源于随机优化和在线学习的最新进展，它们使用近似函数来控制算法的梯度步长。我们描述并分析了一种用于自适应修改近端函数的设备，该设备大大简化了学习率的设置，并导致遗憾的保证，这些保证与事后可以选择的最佳近端函数一样好。对于具有常见且重要正则函数和域约束的经验风险最小化问题，我们给出了几种有效的算法。我们对我们的理论分析进行了实验研究，结果表明，自适应次梯度方法的性能优于最先进但非自适应的次梯度算法。
[腹肌]
[pdf格式][围兜]
