CXL-ANNS：用于十亿规模近似最近邻搜索的软硬件协同内存分解和计算

我们提出CXL-ANNS，这是一种软件协作方法，用于实现高度可扩展的近似最近邻搜索（ANNS）服务。为此，我们首先通过计算快速链接（CXL）将DRAM从主机中分离出来，并将所有必要的数据集放入其内存池中。虽然此CXL内存池可以使ANNS在不损失精度的情况下处理十亿点图，但我们观察到，由于CXL的类似远距内存的特性，搜索性能显著下降。为了解决这个问题，CXL-ANNS考虑了节点级关系，并将邻居缓存在本地内存中，这些邻居预计会最频繁地访问。对于未缓存的节点，CXL-ANNS通过了解ANNS的图遍历行为，预取最可能很快访问的一组节点。CXL-ANNS还了解CXL互连网络的体系结构，并允许其中的不同硬件组件并行协作搜索最近的邻居。为了进一步提高性能，它通过充分利用CXL网络中的所有硬件，放松了邻居搜索任务的执行依赖性，并最大限度地提高了搜索并行度。我们的经验评估结果表明，CXL-ANNS的QPS比我们测试的最先进的ANNS平台高111.1倍，查询延迟低93.3%。CXL-ANNS在延迟和吞吐量方面也分别优于仅具有DRAM（具有无限存储容量）的oracle ANNS系统68.0%和3.8x。