部分异步计算机集群的分布式近似梯度算法
Yi Zhou、Yingbin Liang、Yaoliang Yu、Wei Dai、Eric P.Xing; 19(19):1−32, 2018.
摘要
随着数据量和模型大小的不断增长，一种容错、通信高效、通用的分布式算法对于许多大规模机器学习应用的成功至关重要。在这项工作中，我们提出了m-PAPG，这是一种在配备部分异步通信协议的模型并行系统中实现的灵活近似梯度算法。工作机与受控制的过时绑定$s$异步通信，并以不同的频率运行。我们刻画了m-PAPG的各种收敛性质：1）在一般的非光滑非凸设置下，我们证明了m-PACG生成的序列的每个极限点都是目标函数的一个临界点；2） 在凸目标函数的一个误差界条件下，证明了最优性间隙对于每$s$步线性衰减；3） 在Kurdyka-{\L}-ojasiewicz不等式和充分减少假设下，我们证明了在满足近似Lipschitz条件的前提下，m-PAPG生成的序列收敛到相同的临界点。
[腹肌]
[pdf格式][围兜]
