×

HOGWILD公司

swMATH ID: 28396
软件作者： Feng Niu、Benjamin Recht、Christopher Re、Stephen J.Wright
说明： 万岁！：一种并行化随机梯度下降的无锁方法。随机梯度下降（SGD）是一种流行的算法，可以在各种机器学习任务中实现最先进的性能。一些研究人员最近提出了并行化SGD的方案，但都需要性能破坏内存锁定和同步。这项工作旨在通过新颖的理论分析、算法和实现证明，SGD可以在没有任何锁定的情况下实现。我们提出了一个名为HOGWILD！的更新方案！它允许处理器访问共享内存，并可能覆盖彼此的工作。我们表明，当相关优化问题稀疏时，意味着大多数梯度更新只修改决策变量的一小部分，然后是HOGWILD！达到接近最佳的收敛速度。我们通过实验证明HOGWILD！优于使用锁定的替代方案一个数量级。
主页： https://arxiv.org/abs/1106.5730
关键词： 优化;arXiv_路径。OC公司;机器学习;arXiv_cs。LG公司;随机梯度下降法;新加坡元
相关软件： A锁定;传奇;ImageNet公司;阿达格拉德;CIFAR公司;亚当;伦敦银行支持向量机;AlexNet公司;PDCO公司;RCV1型;PyTorch公司;格尔姆奈特;TensorFlow公司;L-BFGS公司;菲尼托;UCI-毫升;帕伽索斯;特恩格拉德;DSCOVR公司;阿达德尔塔
引用于： 79文件

标准条款

1出版物描述软件 年份
万岁！：一种并行化随机梯度下降的无锁方法arXiv公司
Feng Niu、Benjamin Recht、Christopher Re、Stephen J.Wright
2011
全部的 前5名

230位作者引用

6 马丁·塔卡
5 徐阳阳
4 里奇塔里克，彼得
4 尹沃涛
三 乔丹、迈克尔·欧文
三 斯蒂芬·赖特。
2 陈杰
2 Frank E.柯蒂斯。
2 马丁·贾吉
2 刘，季
2 刘欣
2 马晨欣
2 迈克尔·马奥尼。
2 豪尔赫·诺塞达尔
2 彭志敏
2 克里斯托弗·雷。
2 徐一波
2 严，明
2 闫永贵
2 袁亚香
1 洛克曼·A·阿巴斯·图尔基。
1 迪帕克·阿加瓦尔
1 维塔利·阿克塞诺夫
1 哈马德·阿拉姆里
1 Alistar，丹
1 安爱君
1 哈吉特·阿提亚
1 巴赫，弗朗西斯·R。
1 德拉加纳·巴乔维奇
1 尼古拉斯·班波斯
1 朱塞佩·贝尔吉奥索奥
1 维克托·比托夫
1 尼古拉斯·博菲（Nicholas M.Boffi）。
1 莱昂·博图
1 阿卜杜勒哈米德·布查奇亚
1 D.安德鲁·布朗
1 理查德·伯德。
1 洛丽斯·坎内利
1 曹明
1 岑世聪
1 卡洛·塞内德斯
1 马修·查尔维达尔
1 张宗辉
1 陈宝新
1 陈，柯
1 陈梦强
1 陈伟珠
1 陈玉新
1 LoongFah Cheong
1 池跃杰
1 Gillian M.钦。
1 艾米莉·卓泽诺（Emilie Chouzenoux）
1 周殷兰
1 威廉·W·科恩。
1 斯特凡·克雷佩
1 安德鲁·克罗恩
1 Damek Shea戴维斯
1 詹姆斯·韦尔登·德梅尔
1 阿迪蒂亚·德瓦拉孔达
1 苏哈斯·N·迪加维。
1 丁、胡
1 尼古拉斯·丁格尔。
1 大卫·德雷珀
1 阿里特拉·杜塔
1 海蒙蒂杜塔
1 Dvurechensky，Pavel E。
1 纳扎尔·埃米罗夫
1 Jennifer B.Erway。
1 弗朗西斯科·法奇尼
1 法赫里，法尔塔什
1 冯伟明
1 Jean-Baptiste，费斯特
1 西蒙·福特
1 基蒙·方图拉基斯
1 傅伟明
1 高斌
1 Aleksandr V.加斯尼科夫。
1 彼得·格林（Peter W.Glynn）。
1 塞尔吉奥·格拉马蒂科
1 迈克尔·格拉尼策
1 乔舒亚·格里芬。
1 利奥波德·格林伯格
1 郭斌斌
1 穆特，古尔布兹巴拉班
1 罗伯特·汉纳
1 哈德里安·亨德里克斯
1 洪明毅
1 胡永刚
1 黄紫云
1 弗兰克·伊特泽勒
1 杰恩，普拉蒂克
1 杜珊·雅科维奇
1 乔希，高丽
1 Sham M.卡卡德。
1 内森·卡卢斯
1 康瑜
1 卡尔，索米玛
1 卡拉库斯，加拿大
1 西普拉内斯省卡里米雷迪
1 拉胡尔·基达姆比
…还有130多名作者
全部的 前5名

36篇连载文章中引用

16 机器学习研究杂志（JMLR）
8 SIAM优化杂志
5 数学编程。A系列B系列
4 机器学习
4 SIAM科学计算杂志
三 信息科学
三 优化方法和软件
2 反问题
2 运筹学数学
2 神经计算
2 计算优化与应用
1 美国统计学家
1 比特币
1 最优化理论与应用杂志
1 运筹学
1 SIAM矩阵分析与应用杂志
1 科学计算杂志
1 国际计算几何与应用杂志
1 数值算法
1 计算数学和数学物理
1 欧洲运筹学杂志
1 线性代数及应用
1 SIAM审查
1 分布式计算
1 应用和计算谐波分析
1 国际计算机视觉杂志
1 欧洲控制杂志
1 数学金融学
1 应用统计学杂志
1 巴西概率统计杂志
1 系统科学与复杂性杂志
1 SIAM成像科学杂志
1 算法
1 数学规划计算
1 计算与图形统计学杂志
1 中国运筹学会学报
全部的 前5名

16个领域引用

46 计算机科学（68至XX）
45 运筹学、数学规划（90-XX）
30 数值分析（65-XX）
12 统计学（62-XX）
9 变分法与最优控制；最优化（49至XX）
8 线性代数和多线性代数；矩阵理论（15-XX）
6 博弈论、经济学、金融和其他社会和行为科学（91-XX）
三 概率论与随机过程（60-XX）
2 组合数学（05-XX）
2 系统论；控制（93至XX）
1 常微分方程（34-XX）
1 偏微分方程（35-XX）
1 积分方程（45-XX）
1 算子理论（47-XX）
1 生物学和其他自然科学（92-XX）
1 信息与通信理论、电路（94-XX）

按年份列出的引文