×

ParMAC公司

swMATH ID: 15226
软件作者: 米盖尔·阿尔。Carreira-Perpiñán,Mehdi Alizadeh
描述: ParMAC:嵌套函数的分布式优化,用于学习二进制自动编码器。许多强大的机器学习模型都是基于多个处理层的组合,例如深度网络,这会产生非凸目标函数。辅助坐标法(MAC)是优化此类“嵌套”函数的最新通用方法。MAC为每个数据点引入一个辅助坐标,以便将嵌套模型解耦为独立的子模型。这将优化分解为在训练单个层和更新坐标之间交替的步骤。它的优点是重用了现有的单层算法,引入了并行性,并且不需要使用链规则梯度,因此它适用于不可微层。对于大规模问题,或者当为了更快的训练而需要分布计算时,数据集可能不适合单个机器。因此,有必要限制机器之间的通信量,这样就不会消除并行的好处。我们描述了实现这一点的一般方法,ParMAC。ParMAC工作在具有圆形拓扑结构的处理器集群上,交替执行两个步骤直到收敛:一个步骤使用随机更新并行训练子模型,另一个步骤并行训练坐标。机器之间只有子模型参数,没有数据或坐标。ParMAC具有高并行性、低通信开销,有助于数据洗牌、负载平衡、容错和流数据处理。我们研究了ParMAC的收敛性,并提出了其运行时和并行加速比的理论模型。我们开发ParMAC来学习二进制自动编码器,以便快速、近似地检索图像。我们在分布式系统中的MPI中实现了它,并在128处理器集群中展示了近乎完美的加速,该集群具有1亿个高维点的训练集。
主页: http://arxiv.org/abs/1605.09114
引用于: 0个文档