×

通过交替方向乘数法进行分布式优化和统计学习。 (英语) Zbl 1229.90122号

摘要:在凸优化的框架中,可以提出统计和机器学习中最近感兴趣的许多问题。由于现代数据集的规模和复杂性急剧增加,能够使用大量特征或训练示例解决问题变得越来越重要。因此,这些数据集的分散收集或存储以及随之而来的分布式解决方案方法要么是必要的,要么至少是非常理想的。在这篇综述中,我们认为交替方向乘数法非常适合于分布式凸优化,特别是统计、机器学习和相关领域中出现的大规模问题。该方法发展于20世纪70年代,起源于20世纪50年代,与许多其他算法等效或密切相关,例如对偶分解、乘数法、Douglas-Rachford分裂、Spingarn的部分逆方法、Dykstra的交替投影、Bregman的(ell1)问题迭代算法、,近距离方法等。在简要介绍了该算法的理论和历史之后,我们讨论了该算法在最近感兴趣的各种统计和机器学习问题中的应用,包括套索、稀疏逻辑回归、基追踪、协方差选择、支持向量机等。我们还讨论了一般的分布式优化、非凸设置的扩展和高效实现,包括有关分布式MPI和Hadoop MapReduce实现的一些细节。

MSC公司:

90C25型 凸面编程
90 C90 数学规划的应用
90-02 与运筹学和数学规划有关的研究博览会(专著、调查文章)
68T05型 人工智能中的学习和自适应系统
PDF格式BibTeX公司 XML格式引用
全文: 内政部