猪笼草 swMATH ID: 28396 软件作者: Feng Niu、Benjamin Recht、Christopher Re、Stephen J.Wright 描述: 狂野!:一种并行化随机梯度下降的无锁方法。随机梯度下降(SGD)是一种流行的算法,可以在各种机器学习任务中实现最先进的性能。一些研究人员最近提出了并行化SGD的方案,但都需要性能破坏内存锁定和同步。这项工作旨在通过新颖的理论分析、算法和实现证明,SGD可以在没有任何锁定的情况下实现。我们提出了一个名为HOGWILD!的更新方案!这允许处理器访问共享内存,并有可能覆盖彼此的工作。我们表明,当相关的优化问题是稀疏的,这意味着大多数梯度更新只修改决策变量的一小部分时,那么HOGWILD!达到接近最佳的收敛速度。我们通过实验证明HOGWILD!优于使用锁定的替代方案一个数量级。 主页: https://arxiv.org/abs/1106.5730 关键词: 优化;arXiv_路径。OC公司;机器学习;arXiv_cs。LG公司;随机梯度下降法;新加坡元 相关软件: A锁定;传奇;ImageNet公司;阿达格拉德;CIFAR公司;亚当;伦敦银行支持向量机;AlexNet公司;PDCO公司;RCV1型;PyTorch公司;格尔姆奈特;TensorFlow公司;L-BFGS公司;菲尼托;UCI-毫升;帕伽索斯;特恩格拉德;DSCOVR公司;阿达德尔塔 引用于: 78文件 标准条款 1出版物描述软件 年份 万岁!:一种并行化随机梯度下降的无锁方法arXiv公司Feng Niu、Benjamin Recht、Christopher Re、Stephen J.Wright 2011 全部的 前5名227位作者引用 6 塔卡奇,马丁 5 徐阳阳 4 彼得·里奇塔里克 4 尹沃涛 三 乔丹、迈克尔·欧文 三 斯蒂芬·赖特。 2 陈杰 2 Frank E.柯蒂斯。 2 马丁·贾吉 2 刘,季 2 刘欣 2 马晨欣 2 迈克尔·马奥尼。 2 豪尔赫·诺塞达尔 2 彭志敏 2 Ré,Christopher M。 2 徐一波 2 严明 2 闫永贵 2 袁亚香 1 Abbas Turki,Lokman A。 1 迪帕克·阿加瓦尔 1 维塔利·阿克谢诺夫 1 哈马德·阿拉姆里 1 Dan Alistarh 1 安爱君 1 哈吉特·阿提亚 1 弗朗西斯·巴赫。 1 德拉加纳·巴乔维奇 1 尼古拉斯·班博斯 1 朱塞佩·贝尔吉奥索奥 1 维克托·比托夫 1 尼古拉斯·博菲(Nicholas M.Boffi)。 1 莱昂·博图 1 阿卜杜勒哈米德·布查奇亚 1 Brown,D.安德鲁 1 理查德·伯德。 1 洛丽斯·坎内利 1 曹明 1 岑世聪 1 卡洛·塞内德斯 1 马修·查尔维达尔 1 张宗辉 1 陈宝新 1 陈,柯 1 陈梦强 1 陈伟珠 1 陈玉新 1 龙发昌 1 池跃杰 1 Gillian M.钦。 1 艾米莉·卓泽诺(Emilie Chouzenoux) 1 周殷兰 1 威廉·W·科恩。 1 斯特凡·克雷佩 1 安德鲁·克罗恩 1 Damek Shea戴维斯 1 詹姆斯·韦尔登·德梅尔 1 阿迪蒂亚·德瓦拉孔达 1 苏哈斯·N·迪加维。 1 丁、胡 1 尼古拉斯·丁格尔。 1 大卫·德雷珀 1 阿里特拉·杜塔 1 海蒙蒂杜塔 1 Dvurechensky,Pavel E。 1 詹妮弗·B·埃尔韦。 1 弗朗西斯科·法奇尼 1 法格里、法塔什 1 冯伟明 1 Jean-Baptiste,费斯特 1 西蒙·福特 1 基蒙·方图拉基斯 1 傅伟明 1 高斌 1 Aleksandr V.加斯尼科夫。 1 彼得·格林(Peter W.Glynn)。 1 塞尔吉奥·格拉马蒂科 1 迈克尔·格拉尼策 1 乔舒亚·格里芬。 1 利奥波德·格林伯格 1 郭斌斌 1 穆特,古尔布兹巴拉班 1 罗伯特·汉纳 1 哈德里安·亨德里克斯 1 洪明毅 1 胡永刚 1 黄紫云 1 弗兰克·伊特泽勒 1 贾恩,普拉提克 1 杜珊·雅科维奇 1 乔希,高丽 1 Sham M.卡卡德。 1 内森·卡卢斯 1 康瑜 1 卡尔,索米玛 1 堪萨斯州卡拉库斯 1 西普拉内斯省卡里米雷迪 1 拉胡尔·基达姆比 1 亚历克·科佩尔 ……还有127位作者 全部的 前5名35篇连载文章被引用 16 机器学习研究杂志(JMLR) 8 SIAM优化杂志 5 数学编程。A系列B系列 4 机器学习 4 SIAM科学计算杂志 三 信息科学 三 优化方法和软件 2 反问题 2 运筹学数学 2 神经计算 2 计算优化与应用 1 美国统计学家 1 比特币 1 最优化理论与应用杂志 1 运筹学 1 SIAM矩阵分析与应用杂志 1 科学计算杂志 1 国际计算几何与应用杂志 1 数值算法 1 计算数学和数学物理 1 欧洲运筹学杂志 1 线性代数及应用 1 SIAM审查 1 分布式计算 1 国际计算机视觉杂志 1 欧洲控制杂志 1 数学金融学 1 应用统计学杂志 1 巴西概率与统计杂志 1 系统科学与复杂性杂志 1 SIAM成像科学杂志 1 算法 1 数学规划计算 1 计算与图形统计杂志 1 中国运筹学会学报 全部的 前5名在15个字段中引用 45 计算机科学(68-XX) 44 运筹学、数学规划(90-XX) 30 数值分析(65-XX) 12 统计学(62-XX) 9 变异微积分和最优控制;最优化(49-XX) 8 线性代数和多线性代数;矩阵理论(15-XX) 6 博弈论、经济学、金融和其他社会和行为科学(91-XX) 三 概率论与随机过程(60-XX) 2 组合数学(05-XX) 2 系统论;控制(93至XX) 1 常微分方程(34-XX) 1 偏微分方程(35-XX) 1 积分方程(45-XX) 1 算子理论(47-XX) 1 生物学和其他自然科学(92-XX) 按年份列出的引文