×

DSCOVR:用于异步分布式优化的随机原始-对偶块坐标算法。 (英语) Zbl 1484.90081号

摘要:大数据机器学习通常涉及大型优化模型。对于机器集群上的分布式优化,所有模型参数(优化变量)的频繁通信和同步可能会非常昂贵。一个很有前途的解决方案是使用参数服务器存储模型参数的不同子集,并使用本地数据集在不同的机器上异步更新它们。本文主要研究具有凸损失函数的大型线性模型的分布式优化,并提出了一系列随机原对偶块坐标算法,这些算法特别适用于具有参数服务器的异步分布式实现。特别是,我们使用了此类问题的鞍点公式,该公式允许同时进行数据和模型划分,并通过双重随机坐标优化和方差减少(DSCOVR)来利用其结构。与其他一阶分布式算法相比,我们表明DSCOVR可以要求更少的总体计算和通信量以及更少或没有同步。我们讨论了DSCOVR算法的实现细节,并在一个工业分布式计算系统上进行了数值实验。

MSC公司:

90C25型 凸面编程
62J12型 广义线性模型(逻辑模型)
62兰特 大数据和数据科学的统计方面
68T05型 人工智能中的学习和自适应系统
PDF格式BibTeX公司 XML格式引用
全文: arXiv公司 链接