代理萨拉赫 swMATH ID: 35438 软件作者: Pham,Nhan H。;Nguyen,Lam M。;Phan,Dzung T。;Tran-Din,Quoc公司 描述: ProxSARAH:一个用于随机复合非凸优化的有效算法框架。我们提出了一种新的随机一阶算法框架,用于求解同时包含有限和和期望设置的随机复合非凸优化问题。我们的算法依赖于SARAH估计,由两个步骤组成:近似梯度和平均步骤,使它们不同于现有的非凸近似型算法。这些算法只需要非凸目标项的平均光滑性假设和附加的有界方差假设(如果应用于期望问题)。它们可以使用恒定和动态步长,同时允许使用单个样本和迷你背带。在所有这些情况下,我们证明了我们的算法可以根据随机一阶预言实现最著名的复杂性边界。我们的方法的一个关键步骤是新的常量和动态步长,从而在提高实际性能的同时达到所需的复杂度界限。在单样本情况下,我们的恒定步长比现有方法(包括近端SVRG方案)要大得多。我们还将我们的框架指定给非复合情况,该情况涵盖了oracle复杂性边界方面的现有状态。我们的更新还允许在步长和迷你背带尺寸之间进行权衡,以提高性能。我们使用几个著名的数据集在两个复合非凸问题和神经网络上测试了所提出的算法。 主页: https://arxiv.org/abs/1902.05679 关键词: 随机近端梯度下降;方差减少;复合非凸优化;有限和最小化;期望最小化 相关软件: 传奇;蜘蛛增压;伦敦银行支持向量机;亚当;阿达格拉德;ElemStatLearn(电子状态学习);菲尼托;取消锁定BoX;水母;RM链轮;CIFAR公司;FPC_AS公司;苏蒂尔;帕伽索斯;SGDR公司;备用日志记录;NC-OPT公司;亚太地区;TensorFlow公司;L-BFGS公司 引用于: 30文件 标准条款 1出版物描述软件,包括1出版物以zbMATH为单位 年份 ProxSARAH:一个用于随机复合非凸优化的有效算法框架。 Zbl 1508.90041号范,Nhan H。;Nguyen,Lam M。;Phan,Dzung T。;Tran-Din,Quoc公司 2020 全部的 前5名72位作者引用 5 Nguyen,Lam M。 4 Phan,Dzung T。 3 德里克·德里格斯 3 卡罗拉·比比安·施恩利布 3 Tran Dinh Quoc公司 2 戴玉红 2 他,露露 2 梁静伟 2 刘新伟 2 阮富霞 2 范,Nhan H。 2 孙杰 2 马滕·范迪克 2 小林 2 叶继民 2 于腾腾 2 张俊宇 1 迪格维杰·布布 1 陈增平 1 程广 1 程万友 1 崔春峰 1 迈克·戴维斯(Mike E.Davies)。 1 邓,齐 1 E、 建伟 1 马蒂亚斯·约阿希姆·埃赫哈特 1 郭天德 1 韩聪颖 1 韩德仁 1 侯棣 1 胡,贾 1 E.建伟。 1 金、凌子 1 Jayant R.卡拉格纳姆。 1 卡尔,索米玛 1 乌斯曼·阿里·汗 1 蓝,广汇 1 李文杰 1 李新新 1 林桂华 1 迈克尔·梅特尔。 1 安德烈·米尔扎雷克 1 卡蒂亚·申伯格 1 邵元海 1 宋海明 1 马丁·塔卡 1 秋子武田 1 唐俊奇 1 王成 1 王丽春 1 王庆松 1 王如玉 1 王,肖 1 王占玉 1 王兆新 1 文波 1 Wen,Zaiwen先生 1 徐伟翁 1 欣然 1 徐阳阳 1 徐一波 1 杨金达 1 杨明翰 1 杨振平 1 杨庄 1 尹海安 1 张超 1 张洪超 1 张晋 1 张彤 1 张艺晨 1 赵彤 全部的 前5名13连载 5 数学编程。A系列B系列 4 机器学习研究杂志(JMLR) 3 最优化理论与应用杂志 3 科学计算杂志 3 计算优化与应用 3 优化方法和软件 2 信息科学 2 SIAM优化杂志 1 优化 1 机器学习 1 工业与管理优化杂志 1 SIAM成像科学杂志 1 中国运筹学会学报 全部的 前5名10个领域引用 25 运筹学、数学规划(90-XX) 8 计算机科学(68至XX) 7 数值分析(65-XX) 3 变分法与最优控制;最优化(49至XX) 1 线性代数和多线性代数;矩阵理论(15-XX) 1 算子理论(47-XX) 1 统计学(62-XX) 1 生物学和其他自然科学(92-XX) 1 系统论;控制(93至XX) 1 信息与通信理论、电路(94-XX) 按年份列出的引文