迈克尔·穆勒巴赫（Michael Muehlebach）、迈克尔·乔丹（Michael I.Jordan）。
年份：2021年，数量：22，版本：73，页码：1-50
摘要
我们从动力学系统的角度分析了各种基于动量的优化算法的收敛速度。我们的分析利用了基本的拓扑特性，例如迭代对其初始条件的连续依赖性，以提供收敛速度的简单表征。在许多情况下，得到了将算法参数与收敛速度相关联的闭式表达式。分析包括离散时间和连续时间，以及时不变和时变公式，并且不限于凸或欧几里德设置。此外，本文严格地确定了辛离散化方案为什么对基于动量的优化算法很重要，并提供了显示加速收敛的算法的特征。
PDF格式
BibTeX公司