×

啤酒花

swMATH标识: 15329
软件作者: 萨尔曼·尼亚齐、马哈茂德·伊斯梅尔、斯特芬·格罗什米耶特、米凯尔·朗斯特伦、赛义夫·哈里迪、吉姆·道林
说明: HopsFS:使用NewSQL数据库缩放分层文件系统元数据。最近在无共享、事务性、内存中的NewSQL数据库的性能和可伸缩性方面的改进重新开启了一个研究问题:层次文件系统的分布式元数据是否可以使用商品数据库进行管理。在本文中,我们介绍了HopsFS,它是Hadoop分布式文件系统(HDFS)的下一代发行版,它用基于NewSQL数据库的分布式元数据服务代替HDFS的单节点内存元数据服务。通过消除元数据瓶颈,HopsFS比HDFS提高了容量和吞吐量。HopsFS可以存储24倍于HDFS的元数据。我们还根据Spotify的工作负载跟踪提供了公开的、完全可复制的实验,实验结果表明HopsFS的吞吐量是apachehdfs的2.6倍,对于400多个并发客户端,延迟更低,故障转移期间没有停机。最后,也是最重要的一点,HopsFS允许元数据导出到外部系统,在线分析或搜索,并且易于扩展。
主页: http://arxiv.org/abs/1606.01588
参考文献: 0个出版物