×

啤酒花FS

swMATH ID: 15329
软件作者: Salman Niazi、Mahmoud Ismail、Steffen Grohsschmiedt、Mikael Ronström、Seif Haridi、Jim Dowling
描述: HopsFS:使用NewSQL数据库扩展分层文件系统元数据。NewSQL数据库在无共享、事务性、内存中的性能和可伸缩性方面的最新改进重新打开了一个研究问题,即分层文件系统的分布式元数据是否可以使用商品数据库进行管理。在本文中,我们介绍了HopsFS,这是Hadoop分布式文件系统(HDFS)的下一代发行版,它用构建在NewSQL数据库上的分布式元数据服务取代了HDFS单节点内存元数据服务。通过消除元数据瓶颈,与HDFS相比,HopsFS提高了容量和吞吐量。HopsFS可以存储比HDFS多24倍的元数据。我们还基于Spotify的工作负载跟踪提供了公开的、完全可复制的实验,实验表明HopsFS的吞吐量是Apache HDFS的2.6倍,对于超过400个并发客户端,延迟更低,并且在故障转移期间没有停机时间。最后,也是最重要的一点是,HopsFS允许将元数据导出到外部系统,进行在线分析或搜索,并且易于扩展。
主页: http://arxiv.org/abs/1606.01588
相关软件: 卡费;TensorFlow公司
引用于: 1文件

在1个字段中引用

1 计算机科学(68至XX)

按年份列出的引文