AIDE公司 swMATH ID: 28438 软件作者: 萨珊克·雷迪(Sashank J.Reddi)、雅库布·科内奇(Jakub Koneñn)、彼得·里奇塔里克(Peter Richtárik)、巴纳巴斯·波茨(Barnabás Póczós)、亚历克斯·斯莫拉(Alex Smola) 说明: 目的:快速且通信高效的分布式优化。在本文中,我们提出了两种新的通信效率方法来实现函数平均值的分布式最小化。第一种算法是DANE算法的不精确变体,它允许任何局部算法返回局部子问题的近似解。我们表明,这种策略不会显著影响DANE的理论保证。事实上,我们的方法可以被视为一种鲁棒化策略,因为该方法在实际出现的数据分区方面比DANE表现得更好。众所周知,DANE算法与通信复杂度下限不匹配。为了弥合这一差距,我们提出了第一种方法的加速变体,称为AIDE,它不仅符合通信下限,而且可以使用纯一阶预言机实现。我们的经验结果表明,在机器学习应用中自然出现的环境中,AIDE优于其他高效通信算法。 主页: https://arxiv.org/abs/1608.06879(网址:https://arxiv.org/abs/1608.06879) 相关软件: DiSCO公司;D-ADMM公司;RCV1型;亚当;阿帕奇火花;传奇;伦敦银行支持向量机;HOGWILD公司;DSCOVR公司;时尚-MNIST;EMNIST公司;CIFAR公司;叶子;脚手架;MNIST公司;UCI-毫升;MapReduce;PyTorch公司;mpi4py;CNTK公司 引用于: 10文件 全部的 前5名35位作者引用 2 Aleksandr V.加斯尼科夫。 2 林启航 1 阿德南·艾哈迈德 1 Aleksandr Beznosikov 1 岑世聪 1 陈伟珠 1 陈翔 1 陈玉新 1 池跃杰 1 Dvurechensky,Pavel E。 1 方志浩 1 阿南斯·格拉玛。 1 塞缪尔·霍瓦思 1 德米特里·坎佐洛夫 1 德米特里·科瓦列夫。 1 苏迪尔·凯拉萨。 1 Jason D·李。 1 李秀敏 1 Li,博越 1 李平 1 阿列克桑德·卢卡舍维奇 1 罗,魏 1 马腾宇 1 康斯坦丁·米什琴科 1 埃里克·奥登利希 1 彼得·里奇塔里克 1 安东尼奥·罗伯斯·凯利 1 弗雷德·罗斯塔 1 塞巴斯蒂安·斯蒂奇。 1 田志 1 塞萨尔·A·乌里韦。 1 小林 1 杨天宝 1 余,Adams Wei 1 袁晓彤 4篇连载文章中引用 5 机器学习研究杂志(JMLR) 1 机器学习 1 优化方法和软件 1 欧洲计算优化杂志 在5个字段中引用 7 计算机科学(68至XX) 5 运筹学、数学规划(90-XX) 三 数值分析(65-XX) 2 统计学(62-XX) 1 变分法与最优控制;最优化(49至XX) 按年份列出的引文