航向

ProxSARAH:一个有效的随机组合非凸优化算法框架。我们提出了一个新的随机一阶算法框架来解决包含有限和和和和期望的随机组合非凸优化问题。我们的算法依赖于SARAH估计,包括两个步骤:一个是最近梯度,另一个是平均步骤,这两个步骤使它们不同于现有的非凸近似类型算法。当应用于期望问题时,算法只需要非凸目标项的平均光滑性假设和附加有界方差假设。它们同时使用恒定和动态步长,同时允许单样本和小批量。在所有这些情况下,我们证明了我们的算法可以达到随机一阶预言机的已知复杂度界。我们的方法的一个关键步骤是新的常数和动态步长,从而在提高实际性能的同时达到期望的复杂度边界。在单样本情况下,我们的常数步长远大于现有的包括近端SVRG格式在内的方法。我们还将我们的框架指定给非复合案例,该案例涵盖了oracle复杂性边界方面的现有技术水平。我们的更新还允许在步长和小批量之间进行权衡,以提高性能。我们用几个已知的数据集对两个复合非凸问题和神经网络进行了测试。