梯度下降和流动的路径长度边界
Chirag Gupta、Sivaraman Balakrishnan、Aaditya Ramdas; 22(68):1−63, 2021.
摘要
我们导出了各类光滑凸函数和非凸函数的梯度下降（GD）和梯度流（GF）曲线的路径长度的界。在其他结果中，我们证明了：（a）如果迭代与因子$（1-c）$线性收敛，那么$\zeta$至多是$\mathcal{O}（1/c）$；（b） 在Polyak-Kurdyka-\L ojasiewicz（PKL）条件下，$\zeta$至多是$\mathcal{O}（\sqrt{\kappa}）$，其中$\kappa$是条件编号，至少是$\widetilde\Omega（\sqrt{d}\wedge\kappa-{1/4}）美元；（c） 对于二次方，$\zeta$是$\Theta（\min\｛\sqrt｛d｝，\sqrt｛\log\kappa｝）$，并且在某些情况下可以独立于$\kappa$；（d） 假设只是凸性，$\zeta$最多可以是$2^{4d\logd}$；（e） 对于可分拟凸函数，$\zeta$是${\Theta}（\sqrt{d}）$。因此，我们提高了对GD和GF曲线特性的当前理解，这些特性超出了收敛速度。我们希望我们的技术能够促进其他算法的未来研究。
[腹肌]
[pdf格式][围兜] [博客]
