使用图形处理器的大规模深度无监督学习

无监督学习方法的前景在于，它可以使用大量未标记的数据学习复杂、高度非线性的模型，其中包含数百万个自由参数。我们考虑了两种著名的无监督学习模型，即深度信念网络（DBN）和稀疏编码，这两种模型最近被应用于一系列机器学习应用程序（Hinton&Salakhutdinov，2006；Raina等人，2007）。不幸的是，目前这两种模型的学习算法对于大规模应用来说都太慢了，迫使研究人员将注意力集中在小规模模型上，或者使用更少的训练示例。

在本文中，我们建议使用大规模并行方法来帮助解决这些问题。我们认为，现代图形处理器的计算能力远远超过多核CPU，并有潜力彻底改变深度无监督学习方法的适用性。我们开发了使用图形处理器大规模并行化无监督学习任务的一般原则。我们表明，这些原则可以应用于DBN和稀疏编码的学习算法的成功扩展。对于大型模型，我们的DBN学习实现比双核CPU实现快70倍。例如，我们能够将学习一个具有1亿个免费参数的四层DBN所需的时间从几周减少到一天左右。对于稀疏编码，我们开发了一种简单、固有的并行算法，与以前的方法相比，该算法的速度提高了5到15倍。