×

Nesterov加速梯度法建模的微分方程:理论和见解。 (英文) Zbl 1391.90667号

小结:我们导出了一个二阶常微分方程(ODE),它是Nesterov加速梯度法的极限。该ODE显示出与Nesterov方案的近似等价性,因此可以用作分析工具。我们表明,连续时间ODE可以更好地理解Nesterov的方案。作为副产品,我们得到了一系列具有类似收敛速度的方案。ODE解释还建议重新启动Nesterov的方案,从而得到一个算法,该算法可以严格证明,只要目标是强凸的,就可以以线性速度收敛。

MSC公司:

90 C59 数学规划中的近似方法和启发式
34A34飞机 非线性常微分方程和系统
90C25型 凸面编程
PDF格式BibTeX公司 XML格式引用
全文: arXiv公司 链接