从零阶到一阶异步随机并行优化的综合线性加速分析

的一部分神经信息处理系统进展29（NIPS 2016）

作者

Lian Xiangru、Huan Zhang、Cho-Jui Xieh、Yijun Huang、Ji Liu

摘要

异步并行优化近年来获得了巨大的成功和广泛的关注。核心理论问题之一是异步并行化能给我们带来多大的加速（或效益）。本文对从零阶到一阶的各种异步并行随机算法的加速特性进行了全面而通用的分析。我们的结果恢复或改进了对特殊情况的现有分析，为理解异步并行行为提供了更多见解，并首次提出了一种新的异步并行零阶方法。我们的实验为所提出的异步并行零阶方法在超参数调整和模型混合问题上提供了新的应用。