×

HOGWILD公司

swMATH ID: 28396
软件作者： Feng Niu、Benjamin Recht、Christopher Re、Stephen J.Wright
描述： 万岁！：一种并行化随机梯度下降的无锁方法。随机梯度下降（SGD）是一种流行的算法，可以在各种机器学习任务中实现最先进的性能。一些研究人员最近提出了并行化SGD的方案，但都需要性能破坏内存锁定和同步。这项工作旨在通过新颖的理论分析、算法和实现证明，SGD可以在没有任何锁定的情况下实现。我们提出了一个名为HOGWILD！的更新方案！它允许处理器访问共享内存，并有可能覆盖彼此的工作。我们表明，当相关优化问题稀疏时，意味着大多数梯度更新只修改决策变量的一小部分，然后是HOGWILD！达到接近最佳的收敛速度。我们通过实验证明HOGWILD！优于使用一个数量级锁的替代方案。
主页： https://arxiv.org/abs/1106.5730
关键词： 优化;arXiv_方式OC;机器学习;arXiv_cs.LG公司;随机梯度下降法;新加坡元
相关软件： 传奇;A锁定;阿达格拉德;ImageNet公司;亚当;RCV1型;CIFAR公司;伦敦银行支持向量机;AlexNet公司;L-BFGS公司;PDCO公司;TensorFlow公司;特恩格拉德;DSCOVR公司;格尔姆奈特;阿达德尔塔;DiSCO公司;PyTorch公司;SHOGUN公司;L-BFGS-B型
引用于： 63出版物

标准条款

1出版物描述软件 年份
万岁！：一种并行化随机梯度下降的无锁方法
Feng Niu、Benjamin Recht、Christopher Re、Stephen J.Wright
2011
全部的 前5名

185位作者引用

6 马丁·塔卡
4 徐阳阳
4 尹沃涛
三 乔丹、迈克尔·欧文
三 彼得·里奇塔里克
三 斯蒂芬·赖特。
2 Frank E.柯蒂斯。
2 马丁·贾吉
2 刘，季
2 马晨欣
2 迈克尔·马奥尼。
2 豪尔赫·诺塞达尔
2 彭志敏
2 Ré，Christopher M。
2 严，明
1 迪帕克·阿加瓦尔
1 维塔利·阿克塞诺夫
1 Dan Alistarh
1 安爱君
1 弗朗西斯·巴赫。
1 朱塞佩·贝尔吉奥索奥
1 维克托·比托夫
1 尼古拉斯·博菲（Nicholas M.Boffi）。
1 莱昂·博图
1 理查德·伯德。
1 洛丽斯·坎内利
1 曹明
1 岑世聪
1 卡洛·塞内德斯
1 张宗辉
1 陈宝新
1 陈杰
1 陈，柯
1 陈梦强
1 陈伟珠
1 陈玉新
1 LoongFah Cheong
1 池跃杰
1 Gillian M.钦。
1 周殷兰
1 威廉·W·科恩。
1 安德鲁·克罗恩
1 詹姆斯·韦尔登·德梅尔
1 阿迪蒂亚·德瓦拉孔达
1 苏哈斯·N·迪加维。
1 丁、胡
1 尼古拉斯·丁格尔。
1 大卫·德雷珀
1 海蒙蒂杜塔
1 Dvurechensky，Pavel E。
1 Jennifer B.Erway。
1 弗朗西斯科·法奇尼
1 法格里、法塔什
1 冯伟明
1 西蒙·福特
1 基蒙·方图拉基斯
1 高斌
1 亚历山大五世·加斯尼科夫。
1 塞尔吉奥·格拉马蒂科
1 迈克尔·格拉尼策
1 乔舒亚·格里芬。
1 郭斌斌
1 穆特，古尔布兹巴拉班
1 罗伯特·汉纳
1 哈德里安·亨德里克斯
1 洪明毅
1 胡永刚
1 黄紫云
1 弗兰克·伊特泽勒
1 杰恩，普拉蒂克
1 Sham M.卡卡德。
1 内森·卡卢斯
1 堪萨斯州卡拉库斯
1 西普拉内斯省卡里米雷迪
1 拉胡尔·基达姆比
1 亚历克·科佩尔
1 邝迪
1 维亚切斯拉夫·孔古尔采夫
1 西蒙·朱利安（Simon Lacoste-Julien）
1 老挝、倪
1 雷米·勒布朗德
1 Lee，Choon Meng先生
1 李，东哈
1 李博悦
1 李欢
1 李，秦
1 林启航
1 林，周晨
1 刘浩阳
1 刘建国
1 刘俊峰
1 刘欣
1 刘扬伟
1 罗志泉
1 马世谦
1 马树明
1 莱斯特·麦基
1 杰罗姆·马利克
1 弗雷德里克·马尔曼·特伦
1 马尼亚，霍里亚
…还有85位作者
全部的 前5名

29篇连载文章中引用

15 机器学习研究杂志（JMLR）
7 SIAM优化杂志
4 数学编程。A系列B系列
4 SIAM科学计算杂志
三 信息科学
三 机器学习
2 神经计算
2 优化方法和软件
1 反问题
1 比特币
1 运筹学数学
1 运筹学
1 SIAM矩阵分析与应用杂志
1 科学计算杂志
1 国际计算几何与应用杂志
1 数值算法
1 计算数学和数学物理
1 欧洲运筹学杂志
1 SIAM审查
1 分布式计算
1 计算优化与应用
1 国际计算机视觉杂志
1 欧洲控制杂志
1 应用统计学杂志
1 巴西概率统计杂志
1 SIAM成像科学杂志
1 算法
1 计算与图形统计杂志
1 中国运筹学会学报
全部的 前5名

在14个字段中引用

37 计算机科学（68至XX）
35 运筹学、数学规划（90-XX）
23 数值分析（65-XX）
9 统计学（62-XX）
8 变分法与最优控制；最优化（49至XX）
7 线性代数和多线性代数；矩阵理论（15-XX）
5 博弈论、经济学、金融和其他社会和行为科学（91-XX）
三 概率论与随机过程（60-XX）
2 组合数学（05-XX）
1 常微分方程（34-XX）
1 积分方程（45-XX）
1 算子理论（47-XX）
1 生物学和其他自然科学（92-XX）
1 系统论；控制（93至XX）

按年份列出的引文