康良毅;王建飞;刘杰;是的，丹 可扩展机器学习的并行和分布式优化算法综述。 （中文。英文摘要） Zbl 1413.68089号 J.软件。 29，第1号，109-130（2018）. 摘要：机器学习问题可以看作是以优化为中心的程序，而优化算法是求解目标函数的重要工具。在大数据时代，为了加快训练过程，利用多核计算和分布式计算技术设计并行和分布式优化算法至关重要。近年来，在这一领域进行了大量的研究工作，一些算法已经在机器学习平台上得到了广泛的应用。本文研究了五种常用的优化算法，包括梯度下降算法、二阶优化算法、近似梯度算法、坐标下降算法和交替方向乘法器法。分别从并行和分布式的角度分析了每种类型的算法，并从模型类型、输入数据特性、算法评估和并行通信方式等方面对同类算法进行了比较。此外，还分析了优化算法在具有代表性的可扩展机器学习平台上的实现和应用。同时，本文介绍的所有优化算法都通过一个层次分类图进行分类，可以作为工具，根据目标函数类型选择合适的优化算法，也可以交叉探索如何将优化算法应用于新的目标函数类型。最后，讨论了现有优化算法存在的问题，并提出了可能的解决方案和未来的研究方向。 MSC公司： 68T05型 人工智能中的学习和自适应系统 68宽10 计算机科学中的并行算法 68宽15 分布式算法 关键词：机器学习;优化算法;并行算法;分布式算法 PDF格式BibTeX公司 XML格式引用 \textit{L.Kang}等人，J.Softw。29，第1号，109--130（2018；Zbl 1413.68089） 全文： 内政部