蜘蛛增压 swMATH ID: 44507 软件作者： Zhe Wang、Kaiyi Ji、Yi Zhou、Yingbin Liang、Vahid Tarokh 描述： SpiderBoost和Momentum：更快的随机方差减少算法。SARAH和SPIDER是最近开发的两种随机方差减少算法，SPIDER已被证明在光滑非凸优化中可以实现近最优的一阶预言复杂性。然而，SPIDER使用了一个依赖于精度的步长，这在实践中减缓了收敛速度，并且无法处理涉及非光滑正则化器的目标函数。在本文中，我们提出了SpiderBoost作为一种改进方案，它允许使用更大的常量级步长，同时保持相同的近似最优oracle复杂度，并且可以通过近端映射进行扩展，以处理具有可证明收敛保证的复合优化（非光滑和非凸）。特别地，我们表明，在复合非凸优化中，近端SpiderBoost实现了O（最小{n1/2ε−2，ε−）的预言复杂性，将最新结果提高了一个系数O（最小值{n1/6，ε‐1/3}）。我们进一步开发了一种新的动量方案来加速用于复合优化的SpiderBoost，该方案在理论上实现了接近最优的oracle复杂度，并在实验中取得了实质性的改进。 主页： https://arxiv.org/abs/1810.10690 相关软件： 传奇;ProxSARAH公司;亚当;阿达格拉德;伦敦银行支持向量机;菲尼托;CIFAR公司;取消锁定BoX;RMS公司;PyTorch公司;新加坡存托凭证;PRMLT公司;SymNMF公司;电影镜头;备用日志记录;新冠肺炎;公寓式公寓;张紧器2传感器;github;Wirter流量 引用于： 32文件 全部的 前5名92位作者引用 4 Nguyen，Lam M。 三 德里克·德里格斯 三 Phan，Dzung T。 三 卡罗拉·比比安·施恩利布 2 郭天德 2 韩德仁 2 梁静伟 2 范，Nhan H。 2 Tran Dinh Quoc公司 2 王庆松 2 小林 2 张俊宇 1 尤西·阿杰瓦尼 1 迪格维杰·布布 1 雅伊尔·卡蒙 1 陈浩 1 程广 1 池跃杰 1 崔春峰 1 玛丽娜·达尼洛娃 1 萨姆·达文卢·塔伊巴赫什 1 迈克·戴维斯（Mike E.Davies）。 1 邓，齐 1 约翰·杜奇（John C.Duchi）。 1 Dvurechensky，Pavel E。 1 E、 建伟 1 马蒂亚斯·约阿希姆·埃赫哈特 1 盖森德堡 1 迪伦·福斯特。 1 乔治·弗朗西尼 1 高尚谦 1 Aleksandr V.加斯尼科夫。 1 爱德华·戈尔布诺夫 1 顾全全 1 谢尔盖·古米诺夫 1 阿比舍克·克勒·古普塔。 1 韩聪颖 1 他，露露 1 塞缪尔·霍瓦思 1 胡佳 1 黄飞虎 1 黄、恒 1 乔丹、迈克尔·欧文 1 约根森，Palle E.T。 1 Jayant R.卡拉格纳姆。 1 德米特里·坎佐洛夫 1 卡尔，索米玛 1 乌斯曼·阿里·汗 1 蓝，广汇 1 雷丽华 1 李博悦 1 李文杰 1 李志泽 1 梁玉清 1 刘金兰 1 刘燕 1 刘泽辉 1 安德烈·米尔扎雷克 1 埃里克，穆林 1 阮富霞 1 裴健 1 皮建宗 1 费德里卡·波塔 1 彼得·里奇塔里克 1 瓦莱里亚·鲁杰罗 1 卡蒂亚·申伯格 1 Innokentiy Shibaev 1 内森·斯雷布罗 1 马丁·塔卡 1 唐俊奇 1 高拉夫·腾多尔卡 1 田（James F.Tian）。 1 伊利亚·特隆比尼 1 马滕·范迪克 1 王，肖 1 王占宇 1 王兆新 1 温波 1 Wen，Zaiwen先生 1 徐伟翁 1 布莱克·伍德沃思 1 欣然 1 徐东坡 1 徐，潘 1 徐阳阳 1 徐一波 1 杨明翰 1 叶继敏 1 张彤 1 张一晨 1 赵彤 1 周冬若 全部的 前5名17篇连载文章中引用 6 数学编程。A系列B系列 4 机器学习研究杂志 三 优化方法和软件 三 SIAM数据科学数学杂志 2 最优化理论与应用杂志 2 SIAM优化杂志 1 信息科学 1 计算与应用数学杂志 1 科学计算杂志 1 神经网络 1 机器学习 1 计算优化与应用 1 应用和计算谐波分析 1 应用数学与计算杂志 1 优化信函 1 SIAM成像科学杂志 1 统计与计算 全部的 前5名在16个字段中引用 26 运筹学、数学规划（90-XX） 9 计算机科学（68至XX） 5 数值分析（65-XX） 4 统计学（62-XX） 三 变分法与最优控制；最优化（49-XX） 2 算子理论（47-XX） 2 系统论；控制（93至XX） 1 线性代数和多线性代数；矩阵理论（15-XX） 1 拓扑群、李群（22日至XX日） 1 势能理论（31日至XX日） 1 差分方程和函数方程（39至XX） 1 欧氏空间的调和分析（42至XX） 1 功能分析（46倍X倍） 1 整体分析，流形分析（58至XX） 1 概率论与随机过程（60-XX） 1 信息与通信理论、电路（94-XX） 按年份列出的引文