跳到主要内容
研究论文

使用ZoneFS在HM-SMR驱动器上构建无GC-free密钥值存储

出版:2022年8月24日出版历史
跳过抽象节

摘要

主机管理的瓦状磁记录驱动器(HM-SMR)在驾驭数据爆炸式增长的能力方面具有优势。对于基于日志结构合并树(LSM-trees)的键值(KV)存储,HM-SMR驱动器因其容量、可预测性能和经济成本而成为理想的解决方案。然而,由于应用程序和存储设备的冗余清洗过程(即压缩和垃圾收集),在HM-SMR驱动器上构建基于LSM-树的KV存储在保持性能和空间利用效率方面面临严峻挑战。为了消除磁盘垃圾收集(GC)的开销并提高压缩效率,本文提出齿轮数据库为HM-SMR驱动器量身定制的无GC-free KV商店。GearDB通过三种新技术提高了写入性能和空间效率:新的磁盘数据布局、压缩窗口和新的齿轮压缩算法。我们使用新的SSTable布局和预读机制进一步增强了GearDB的读取性能。我们使用LevelDB实现GearDB,并使用zonefs访问真正的HM-SMR驱动器。我们的大量实验证实,GearDB实现了高性能和空间效率,即在随机写入和读取方面分别比LevelDB平均好1.7倍和1.5倍,空间效率高达86.9%。

参考文献

  1. [1]阿加耶夫·阿卜塔利布Desnoyers彼得.2015.Skylight瓦形磁盘操作窗口.英寸第13届USENIX文件和存储技术会议记录(FAST’15).135——149.谷歌学者谷歌学者数字图书馆数字图书馆
  2. [2]艾默尔·艾哈迈德龙·达雷尔·D·E。米勒-伊桑L。巴黎Jehan-Francois、和施瓦兹·S·J·托马斯.2010.瓦状写盘系统的设计问题.英寸IEEE第26届大规模存储系统和技术研讨会(MSST’10)会议记录.谷歌学者谷歌学者数字图书馆数字图书馆
  3. [3]比约林·马蒂亚斯.2019.从开放通道SSD到分区命名空间.英寸Linux存储和文件系统会议记录(Vault’19).1.谷歌学者谷歌学者
  4. [4]卡苏托·尤瓦尔萨维多·马尔科A.A。盖奥特·西里尔霍尔·大卫·R。、和班迪克·兹沃尼米尔。.2010.用于带状记录磁盘驱动器的定向系统.英寸IEEE第26届大规模存储系统和技术研讨会(MSST’10)会议记录.1——14.谷歌学者谷歌学者数字图书馆数字图书馆
  5. [5]Chang Fay公司迪安·杰弗里Ghemawat Sanjay公司谢·威尔逊C。瓦拉赫·德博拉(Wallach Deborah A.)。Burrows迈克尔钱德拉·图沙尔菲克斯·安德鲁、和格鲁伯·罗伯特.2006.Bigtable:结构化数据的分布式存储系统.英寸第七届操作系统设计与实现研讨会会议记录(OSDI’06).205——218.谷歌学者谷歌学者
  6. [6]崔昌浩.2016.使用多流技术提高SSD性能和寿命。检索自https://www.snia.org/sites/default/files/DSI/2016/presentations/sec/ChanghoChoi_Increasing_SSD_Performance-rev.pdf网站.谷歌学者谷歌学者
  7. [7]库珀·布莱恩·F。Silberstein亚当塔姆·埃尔文罗马克里什南·拉胡、和西尔斯·罗素.2010.使用YCSB对云服务系统进行基准测试.英寸ACM云计算研讨会(SOCC’10)会议记录.谷歌学者谷歌学者数字图书馆数字图书馆
  8. [8]大雁Niv阿塔纳索利斯·马诺斯、和Idreos Stratos公司.2017.Monkey:最佳导航键值存储.英寸ACM国际数据管理会议记录.ACM、,79——94.谷歌学者谷歌学者数字图书馆数字图书馆
  9. [9]数字西部.2016.dm-分区。检索自https://github.com/hgst/dm-zoned-tools.谷歌学者谷歌学者
  10. [10]数字西部.2019.分区FS。检索自https://github.com/damien-lemoal/zonefs-tools网站.谷歌学者谷歌学者
  11. [11]脸谱网【未注明日期】。RocksDB,快速存储环境的持久密钥值存储。检索自http://rocksdb.org/.谷歌学者谷歌学者
  12. [12]费尔德曼·蒂姆吉布森·加思.2013.瓦状磁记录:磁密度增加需要新的数据管理.USENIX公司;登录名:Mag。 38(2013),22——30.谷歌学者谷歌学者
  13. [13]Ghemawat Sanjay公司迪安·杰夫.2016.级别DB。检索自https://github.com/Level/leveldown/issues/298.谷歌学者谷歌学者
  14. [14]吉布森·加思黑帮格雷格.2011.瓦片磁盘设备的工作原理.卡内基梅隆大学平行数据实验室技术报告CMU-PDL-11-107(2011).谷歌学者谷歌学者
  15. [15]Golan-Gueta盖伊博特尼科夫·爱德华Hillel Eshcar公司、和基达尔·伊迪特.2015.扩展并发日志结构化数据存储.英寸第十届欧洲计算机系统会议记录(EuroSys’15).谷歌学者谷歌学者数字图书馆数字图书馆
  16. [16]冈萨雷斯·哈维尔比约林·马蒂亚斯李圣诺董查理、和黄宜人罗尼.2014.开放通道SSD上应用程序驱动的闪存转换层.英寸非易失性存储器研讨会(NVMW’14)会议记录.谷歌学者谷歌学者
  17. [17]汉斯Holmberg Western Digital Corporation.2020.ZenFS、Zones和RocksDB谁喜欢倒垃圾?检索自https://www.snia.org/educational-library/zenfs-zones-and-rocksdb-who-likes-take-out-garbage-anyway-2020.谷歌学者谷歌学者
  18. [18]日立环球存储科技公司.2015.HGST为活动存档应用程序提供全球首款10TB企业级硬盘。检索自http://investor.wdc.com/news-releases/news-rellease-details/hgst-delivers-worlds-first 10tb-enterprise-hdd-active-archive.谷歌学者谷歌学者
  19. [19]日立环球存储科技公司.2017.Libzbc 5.4.1版。检索自https://github.com/hgst/libzbc网址.谷歌学者谷歌学者
  20. [20]日立环球存储科技公司.2017.Ultrastar Hs14-14TB 3.5英寸氦平台企业级SMR硬盘。检索自https://www.hgst.com/products/hard-drives/aultrastar-hs14.谷歌学者谷歌学者
  21. [21]日立环球存储科技公司.2018.Ultrastar DC HC600 SMR系列,15TB。检索自https://www.westerndigital.com/products/data-center-drives/ultrastar-dc-hc600系列-hdd.谷歌学者谷歌学者
  22. [22]委员会INCITS T10技术.2017.信息技术-分区块命令(ZBC)。标准草案T10/BSR INCITS 550,美国国家标准协会。检索自http://www.t10.org/drafts.htm.谷歌学者谷歌学者
  23. [23]委员会INCITS T13技术【未注明日期】。分区设备数据命令集(ZAC)工作草案.谷歌学者谷歌学者
  24. [24]Jagadish H.V.公司。纳拉扬P.S。塞沙德里·斯里达尔苏达尔珊S。、和卡内甘蒂·拉玛.1997.数据记录和仓库的增量组织.英寸超大数据库会议记录(VLDB’97).16——25.谷歌学者谷歌学者
  25. [25]金超西威雅清志勇霍峰、和林春泰.2014.HiSMRfs:用于瓦状存储阵列的高性能文件系统.英寸IEEE第30届大规模存储系统和技术研讨会(MSST’14)会议记录IEEE标准,1——6.谷歌学者谷歌学者交叉引用交叉引用
  26. [26]卡德科迪·沙特Pimpale Swapnil公司、和吉布森·加思A。.2015.Caveat Scriptor:在任何地方写木瓦磁盘.英寸第七届USENIX热存储研讨会会议记录.谷歌学者谷歌学者
  27. [27]任凯郑青(音)阿鲁拉杰·乔伊、和吉布森·加思.2017.SlimDB—用于半排序数据的节省空间的键值存储引擎.程序。荷兰VLDB。 1013(2017).谷歌学者谷歌学者数字图书馆数字图书馆
  28. [28]坎南·苏达顺巴特·尼提什加夫里洛夫斯卡·阿达阿帕西·杜塞乌·安德里亚、和阿帕西·杜塞乌·雷姆齐.2018.使用NoveLSM为非易失性内存重新设计LSM.英寸USENIX年度技术会议记录.993——1005.谷歌学者谷歌学者
  29. [29]金泰金(Kim Taejin)哈恩·桑伍克·谢恩李成金(Lee Sungjin)黄佐勇李钟郁、和金继红.2018.PCStream:使用程序上下文自动分配流.英寸第十届USENIX热存储研讨会会议记录.谷歌学者谷歌学者
  30. [30]Ku S.P.M.Chi-Young先生摩根·斯蒂芬·P。.2015.支持SMR的仅附加文件系统.英寸存储开发人员会议记录.谷歌学者谷歌学者
  31. [31]拉克希曼·阿维纳什马利克·普拉桑特.2009.Cassandra:一个去中心化的结构化存储系统.英寸第三届ACM SIGOPS大型分布式系统和中间件国际研讨会会议记录.谷歌学者谷歌学者
  32. [32]卢兰月Pillai Thanumalayan Sankaranarayana公司阿帕西·杜塞乌·安德里亚C。、和Arpaci-Dusseau Remzi H。.2016.WiscKey:将密钥与SSD意识存储中的值分离.英寸第14届USENIX文件和存储技术会议记录(FAST’16).133——148.谷歌学者谷歌学者
  33. [33]李昌曼Sim Dongho先生黄俊英、和赵桑延(Cho Sangyeun).2015.F2FS:一种新的闪存文件系统.英寸第13届USENIX文件和存储技术会议记录(FAST’15).273——286.谷歌学者谷歌学者
  34. [34]李成金(Lee Sungjin)刘明Jun Sang Woo先生徐硕涛金继红、和阿尔文德·阿尔文德.2016.应用程序管理的闪存。.英寸第14届USENIX文件和存储技术会议记录(FAST’16).339——353.谷歌学者谷歌学者数字图书馆数字图书馆
  35. [35]罗奇(音)。张磊(音)。.2015.使用基于SMR的键值存储实现对象存储.英寸存储开发人员会议记录.谷歌学者谷歌学者
  36. [36]麦科·彼得葛雄子凯利·J·。斯利克·D。,等.2017.SMORE:SMR驱动器的冷数据对象存储.英寸IEEE第33届大规模存储系统和技术研讨会会议记录(MSST’17).谷歌学者谷歌学者
  37. [37]Manzanares亚当沃特金斯·诺亚盖奥特·西里尔勒莫尔·达米恩马尔扎恩·卡洛斯、和班迪克·兹沃尼姆.2016.ZEA,一种用于SMR的数据管理方法.英寸第八届USENIX热存储研讨会会议记录.谷歌学者谷歌学者
  38. [38]Oana Balmau、Diego Didona、Rachid Guerraoui、Willy Zwaenepoel、Huapeng Yuan、Aashray Arora、Karan Gupta和Pavan Konka。2017.TRIAD:在内存、磁盘和登录日志结构的键值存储之间创造协同效应。USENIX年度技术会议记录.谷歌学者谷歌学者
  39. [39]马莫尔·莱昂纳多Sundararaman Swaminathan公司塔拉加拉·尼莎兰加斯瓦米·拉朱德文德拉帕·苏什玛Ramsundar Bharath公司、和甘尼桑·斯里拉姆.2014.NVMKV:一个可扩展的轻量级闪存感知密钥值存储.英寸第六届USENIX热存储研讨会会议记录.谷歌学者谷歌学者
  40. [40]玛斯·马丁哈里斯·蒂姆阿萨诺维奇·克里斯特、和库比亚托维奇·约翰.2015.垃圾日:在分布式系统中协调垃圾收集。操作系统热点专题研讨会论文集(HotOS’15).谷歌学者谷歌学者
  41. [41]莫尔·达米安·勒姚婷.2020.Zonefs:将POSIX文件系统接口映射到原始分区块设备访问.USENIX协会加利福尼亚州圣克拉拉.谷歌学者谷歌学者
  42. [42]奥尼尔·帕特里克程·爱德华盖利克·迪特、和奥尼尔·伊丽莎白.1996.日志结构的合并树(LSM-tree).信息学报 334(1996),351——385.谷歌学者谷歌学者数字图书馆数字图书馆
  43. [43]Pitchumani Rekha公司休斯·詹姆斯、和米勒·伊桑·L。.2015.SMRDB:瓦状磁记录磁盘的键值数据存储.英寸第八届ACM国际系统和存储会议记录.谷歌学者谷歌学者数字图书馆数字图书馆
  44. [44]拉朱·潘迪安卡德科迪·罗汉奇丹巴拉姆·维杰、和亚伯拉罕·伊泰.2017.Pebblesdb:使用分段的日志结构合并树构建键值存储.英寸第26届操作系统原理研讨会论文集(SOSP'17).ACM、,497——514.谷歌学者谷歌学者数字图书馆数字图书馆
  45. [45]罗德·奥哈德巴奇·约瑟夫、和梅森·克里斯.2013.BTRFS:linux B树文件系统.ACM事务处理。仓库。 9(2013),1——32.谷歌学者谷歌学者数字图书馆数字图书馆
  46. [46]希捷【未注明日期】。希捷动力学开放存储愿景。检索自https://www.seagate.com/tech-insights/kinetic-vision-how-seagate-new-developer-tools-meets-the-needs-of-cloud-storage-platforms-master-ti.谷歌学者谷歌学者
  47. [47]希捷.2014.存档希捷硬盘。检索自http://www.seagate.com/www-content/product-content/hdd-fam/seagate-archive-hdd/en-us/docs/100757960a.pdf.谷歌学者谷歌学者
  48. [48]西尔斯·罗素罗马克里什南·拉胡.2012.bLSM:通用日志结构合并树.英寸ACM SIGMOD国际数据管理会议记录(SIGMOD'12).谷歌学者谷歌学者数字图书馆数字图书馆
  49. [49]谢蒂·普拉迪普斯皮兰·理查德·P。马尔帕尼·拉维坎特Andrews Binesh公司Seyster贾斯汀、和扎多克·埃雷斯.2013.使用VT树构建与工作负载无关的存储。第十一届USENIX文件和存储技术会议记录(FAST’13).17——30.谷歌学者谷歌学者数字图书馆数字图书馆
  50. [50]吴凤刚杨明昌范子奇张宝全葛雄子、和杜大卫·H.C。.2016.评估支持主机的SMR驱动器.英寸第八届USENIX热存储研讨会会议记录.谷歌学者谷歌学者
  51. [51]吴兴波徐月海邵自力、和姜松.2015.LSM-trie:一种基于LSM-树的小数据超大键值存储.英寸USENIX年度技术会议记录.谷歌学者谷歌学者
  52. [52]姚婷谭志虎万继光黄平张艺文谢长生、和何旭斌.2018.带动态频带的瓦状磁记录驱动器上的一个设置软件键值存储.英寸IEEE国际并行和分布式处理研讨会(IPDPS’18)会议记录IEEE标准,306——315.谷歌学者谷歌学者交叉引用交叉引用
  53. [53]姚婷万继光黄平何旭斌桂庆新吴飞、和谢长生.2017.一种轻量级压缩树,用于减少I/O放大,以实现高效的键值存储.英寸IEEE第33届大规模存储系统和技术研讨会会议记录(MSST’17).谷歌学者谷歌学者

索引术语

  1. 使用ZoneFS在HM-SMR驱动器上构建免GC密钥值存储

      建议

      评论

      登录选项

      检查您是否可以通过登录凭据或您的机构访问本文。

      登录

      完全访问权限

      • 发布于

        封面图片ACM存储事务
        ACM存储事务 第18卷第3期
        2022年8月
        244页
        国际标准编号:1553-3077
        EISSN公司:1553-3093
        内政部:10.1145/3555792
        期刊目录

        如果复制品不是为了盈利或商业利益而制作或分发的,并且复制品的第一页载有本通知和完整引文,则允许免费制作本作品的全部或部分数字或硬拷贝以供个人或课堂使用。必须尊重ACM以外的其他人对本作品组成部分的版权。允许用信用证进行摘要。要以其他方式复制或重新发布,在服务器上发布或重新发布到列表,需要事先获得特定许可和/或付费。向请求权限[电子邮件保护].

        出版商

        计算机协会

        美国纽约州纽约市

        出版历史

        • 出版:2022年8月24日
        • 在线AM:2022年7月22日
        • 认可的:2021年11月1日
        • 修订过的:2021年10月1日
        • 收到:2020年12月1日
        发布于托斯第18卷第3期

        权限

        请求有关此文章的权限。

        请求权限

        检查更新

        限定符

        • 研究论文
        • 推荐

      PDF格式

      以PDF文件查看或下载。

      PDF格式

      电子阅读器

      使用eReader在线查看。

      电子阅读器

      全文

      以全文形式查看本文。

      查看全文

      HTML格式

      以HTML格式查看本文。

      查看HTML格式