×

具有逐步方差减少的近似随机梯度法。 (英语) Zbl 1321.65016号

作者考虑了最小化两个凸函数之和的问题,即。\[\最小值{x\in\mathbb R_d}\big[F(x)+R(x)\big],\]其中,(F(x)=n^{-1}\sum_{i=1}^{n}F_i(x)是一个简单的函数,但不一定是可微的。通常,\(F(x)\)是大量光滑分量函数的平均值,\(R(x))是允许简单近似映射的一般函数。假设有两个基本假设,即。
\(\bullet \)\(R(x)\)是下连续凸的,其有效域是封闭的。
\(bullet)总成本函数(P(x)=F(x)+R(x))是强凸的。
主要结果是发展了随机方差减少梯度(SVRG)技术的扩展[L.张等人,“完全梯度的条件数独立访问的线性收敛”,载于:Adv.Neural Inf.Process。系统。26,麻省理工学院出版社,马萨诸塞州剑桥,980-988(2013)],通过所谓的近端SVRG方法,可以解决更一般的问题,同时提供相同的复杂性。这是由于采用了加权抽样策略。该方法不需要存储每个分量函数的最近梯度。详细分析了Prox-SVRG算法的收敛性。报告了正则化logistic回归的数值结果,并与所谓的松弛算法进行了比较。

MSC公司:

65C60个 统计中的计算问题(MSC2010)
65年20月 数值算法的复杂性和性能
90C25型 凸面编程
PDF格式BibTeX公司 XML格式引用