Bandana：使用非易失性存储器存储深度学习模型

的一部分机器学习与系统1会议录（MLSys 2019）

作者

阿萨夫·艾森曼（Assaf Eisenman）、马克西姆·诺莫夫（Maxim Naumov）、达里尔·加德纳（Darryl Gardner

摘要

典型的大规模推荐系统使用存储在大量DRAM上的深度学习模型。这些模型通常依赖于嵌入式，而嵌入式占用了大部分所需内存。我们介绍了Bandana，这是一种通过使用非易失性存储器（NVM）作为主存储介质，并使用少量DRAM作为缓存，来减少嵌入式DRAM占用空间的存储系统。与DRAM相比，在NVM上存储嵌入式的主要挑战是其有限的读取带宽。Bandana使用两种主要技术来解决此限制：首先，它使用超图分区将可能一起读取的嵌入向量存储在同一物理位置，其次，它通过模拟几十个小缓存来决定要在DRAM中缓存的嵌入向量的数量。这些技术使Bandana能够将NVM的有效读取带宽增加2-3倍，从而显著降低总体拥有成本。