周东若、潘旭、顾全全。
年份：2019年，数量：20，版本：134，页码：1-47
摘要
我们提出了一种用于非凸优化的随机方差减少的三次正则牛顿法（SVRC）。SVRC的核心是一种新的半随机梯度和半随机Hessian，它们是专门为立方正则化方法设计的。对于一个含有$n$分量函数的非凸函数，我们证明了我们的算法在$\tilde{O}（n^{4/5}/\epsilon^{3/2}）$\脚注{这里$\tilde{O}$隐藏了多项式因子。}二阶oracle调用，其性能优于最先进的立方正则化算法，包括子采样立方正则化。为了进一步降低基于三次正则化方法中Hessian矩阵计算的样本复杂度，我们还提出了一种样本有效的随机方差减少三次正则（Lite-SVRC）算法，以更有效地找到局部极小值。Lite-SVRC收敛到$\tilde{O}（n+n^{2/3}/\epsilon^{3/2}）$Hessian样本复杂度内的$（\epsillon，\sqrt{\epsilon}）$近似局部极小值，这比所有现有的基于立方正则化的方法都快。在实际数据集上对不同的非凸优化问题进行了数值实验，验证了我们对SVRC和Lite-SVRC的理论结果。
PDF格式
BibTeX公司