×

代理萨拉赫

swMATH ID: 35438
软件作者: Pham,Nhan H。;Nguyen,Lam M。;Phan,Dzung T。;Tran-Din,Quoc公司
描述: ProxSARAH:一个用于随机复合非凸优化的有效算法框架。我们提出了一种新的随机一阶算法框架,用于求解同时包含有限和和期望设置的随机复合非凸优化问题。我们的算法依赖于SARAH估计,由两个步骤组成:近似梯度和平均步骤,使它们不同于现有的非凸近似型算法。这些算法只需要非凸目标项的平均光滑性假设和附加的有界方差假设(如果应用于期望问题)。它们可以使用恒定和动态步长,同时允许使用单个样本和迷你背带。在所有这些情况下,我们证明了我们的算法可以根据随机一阶预言实现最著名的复杂性边界。我们的方法的一个关键步骤是新的常量和动态步长,从而在提高实际性能的同时达到所需的复杂度界限。在单样本情况下,我们的恒定步长比现有方法(包括近端SVRG方案)要大得多。我们还将我们的框架指定给非复合情况,该情况涵盖了oracle复杂性边界方面的现有状态。我们的更新还允许在步长和迷你背带尺寸之间进行权衡,以提高性能。我们使用几个著名的数据集在两个复合非凸问题和神经网络上测试了所提出的算法。
主页: https://arxiv.org/abs/1902.05679
关键词: 随机近端梯度下降;方差减少;复合非凸优化;有限和最小化;期望最小化
相关软件: 传奇;蜘蛛增压;伦敦银行支持向量机;亚当;阿达格拉德;ElemStatLearn(电子状态学习);菲尼托;取消锁定BoX;水母;RM链轮;CIFAR公司;FPC_AS公司;苏蒂尔;帕伽索斯;SGDR公司;备用日志记录;NC-OPT公司;亚太地区;TensorFlow公司;L-BFGS公司
引用于: 30文件

按年份列出的引文