研究论文

Delos中的日志结构协议

SOSP’21：ACM SIGOPS第28届操作系统原理研讨会会议记录

2021年10月

页538-552

https://doi.org/10.1145/3477132.3483544

出版:2021年10月26日出版历史

获取访问权限

摘要

开发人员可以访问大型系统中的各种存储API和功能，如关系数据库、键值存储和命名空间。然而，这种多样性是有代价的：每个API都是由一个复杂的分布式系统实现的，很难开发和操作。Delos通过在共享的代码库和操作平台上启用不同的API来分摊此成本。Delos的主要创新是一个日志结构协议：一个在共享日志之上执行的细粒度复制状态机，该共享日志可以分层到不同数据库下的可重用协议栈中。我们在Facebook上使用Delos构建并部署了两个生产数据库，在此过程中创建了九个不同的日志结构协议。我们通过实验和生产数据表明，日志结构协议的开销很低，同时允许进行优化，可以将延迟提高高达100倍（例如通过租赁），吞吐量提高高达2倍（例如，通过批处理）。

工具书类

[1]

日志设备。https://logdevice.io/。

[2]

雷迪斯。https://redis.io/。

[3]

罗茨德。https://rocksdb.org/。

[4]

Sqlite。https://www.sqlite.org/。

[5]

Adya，A.、Grandl，R.、Myers，D.和Qin，H.快速键值商店：一个时代已经过去的想法。在HotOS 2019中。

数字图书馆

[6]

Aguilera，M.K.、Leners，J.B.和Walfish，M.Yesquel：用于web应用程序的可扩展sql存储。在ACM SOSP 2015中。

数字图书馆

[7]

Armbrust，M.、Das，T.、Sun，L.、Yavuz，B.、Zhu，S.、Murthy，M.，Torres，J.、van Hovell，H.、Ionescu，A.、Łuszczak，A.等人。三角洲湖：云对象存储上的高性能酸表存储。2020年VLDB。

数字图书馆

[8]

Azagury，A.、Factor，M.E.、Satran，J.和Micka，W.时间点副本：昨天、今天和明天。在IEEE MSST 2002中。

[9]

Balakrishnan，M.、Flinn，J.、Shen，C.、Dharamshi，M.，Jafri，A.、Shi，X.、Ghosh，S.、Hassan，H.、Sagar，A.、Shi，R.等人，《Delos中的虚拟共识》。在USENIX OSDI 2020中。

[10]

Balakrishnan，M.、Malkhi，D.、Prabhakaran，V.、Wobber，T.、Wei，M.和Davis，J.D.CORFU：Flash集群的共享日志设计。USENIX NSDI 2012。

[11]

Balakrishnan，M.、Malkhi，D.、Wobber，T.、Wu，M.、Prabhakaran，V.、Wei，M.、Davis，J.D.、Rao，S.、Zou，T.和Zuck，A.探戈：共享日志上的分布式数据结构。在ACM SOSP 2013中。

数字图书馆

[12]

Bernstein，P.A.、Das，S.、Ding，B.和Pilman，M.优化树结构、日志结构数据库的乐观并发控制。2015年ACM SIGMOD会议记录。

[13]

Bittman，D.、Alvaro，P.、Mehra，P.，Long，D.D.和Miller，E.L.Twizzler：非易失性存储器的数据中心操作系统。USENIX ATC 2020。

[14]

Burrows，M.松散耦合分布式系统的Chubby锁服务。在USENIX OSDI 2006中。

[15]

Cao，Z.、Dong，S.、Vemuri，S.和Du，D.H.在Facebook上对RocksDB关键值工作负载进行特征化、建模和基准测试。在USENIX FAST 2020中。

[16]

Chrysafis，C.、Collins，B.、Dugas，S.、Dunkelberger，J.、Ehsan，M.、Gray，S.，Grieser，A.、Herrnstadt，O.、Lev-Ari，K.、Lin，T.、McMahon，M.，Schiefer，N.和Shraer，A.FoundationDB记录层：一个多租户结构化数据存储。在ACM SIGMOD 2019中。

数字图书馆

[17]

Clark，D.D.使用向上调用构建系统。在ACM SOSP 1985中。

数字图书馆

[18]

Coburn，J.、Caulfield，A.M.、Akel，A.、Grupp，L.M.、Gupta，R.K.、Jhala，R.和Swanson，S.NV-Heaps:使用下一代非易失性存储器快速安全地创建持久性对象。2011年ACM ASPLOS。

[19]

Corbett，J.C.、Dean，J.、Epstein，M.、Fikes，A.、Frost，C.、Furman，J.J.、Ghemawat，S.、Gubarev，A.、Heiser，C.、Hochschild，P.等。Spanner：谷歌全球分布式数据库。ACM计算机系统交易（TOCS）31，3（2013），1--22。

[20]

Cui，H.、Gu，R.、Liu，C.、Chen，T.和Yang，J.《PAXOS透明化》。在ACM SOSP 2015中。

[21]

Cui，H.、Simsa，J.、Lin，Y.-H.、Li，H.，Blum，B.、Xu，X.、Yang，J.，Gibson，G.A.和Bryant，R.E.Parrot：确定性、稳定和可靠线程的实际运行时间。《第二十四届ACM操作系统原理研讨会论文集》（2013），第388-405页。

数字图书馆

[22]

DeWitt，D.J.、Katz，R.H.、Olken，F.、Shapiro，L.D.、Stonebraker，M.R.和Wood，D.A.主存数据库系统的实现技术。ACM SIGMOD 1984。

数字图书馆

[23]

Ding，C.、Chu，D.、Zhao，E.、Li，X.、Alvisi，L.和van Renesse，R.Scalog：可扩展共享日志中的无缝重新配置和总顺序。USENIX NSDI 2020。

[24]

Dragojević，A.、Narayanan，D.、Castro，M.和Hodson，O.FaRM：快速远程内存。USENIX NSDI 2014。

[25]

Friedman，M.、Herlihy，M.，Marathe，V.和Petrank，E.非易失性内存的持久无锁队列。ACM SIGPLAN通知53，1（2018），28--40。

[26]

Garbinato，B.和Guerraoui，R.。BAST中的灵活协议组合。在ICDCS 1998中。

数字图书馆

[27]

Gray，C.和Cheriton，D.Leases:分布式文件缓存一致性的高效容错机制。在ACM SOSP 1989中。

[28]

Guy，R.G.、Heidemann，J.S.、Mak，W.、Page Jr，T.W.、Popek，G.J.和Rothmeier，D.《Ficus复制文件系统的实现》。在USENIX Summer 1990。

[29]

Heidemann，J.S.和Popek，G.J.使用可堆叠层进行文件系统开发。美国计算机学会计算机系统学报（TOCS）12，1（1994），58-89。

[30]

Herlihy，M.P.和Wing，J.M.线性化：并发对象的正确条件。ACM事务处理。程序。语言系统。12，3（1990年7月），463--492。

[31]

Hunt，P.、Konar，M.、Junqueira，F.P.和Reed，B.ZooKeeper:互联网规模系统的无等待协调。在USENIX ATC 2010中。

[32]

北卡罗来纳州Hutchinson和Peterson，L.L.《x内核：实现网络协议的架构》。IEEE软件工程学报17，1（1991），64。

[33]

Jia，Z.和Witchel，E.Boki：共享日志的状态无服务器计算。在ACM SOSP 2021中。

数字图书馆

[34]

Junqueira，F.P.、Reed，B.C.和Serafini，M.Zab：主要备份系统的高性能广播。在IEEE DSN 2011中。

数字图书馆

[35]

Khalidi，Y.A.和Nelson，M.N.《春天的可扩展文件系统》，ACM SOSP 1993。

数字图书馆

[36]

Kogias，M.和Bugnion，E.HovercRaft：实现微秒级数据中心服务的可扩展性和容错性。在ACM EuroSys 2020中。

数字图书馆

[37]

Kulkarni，C.、Moore，S.、Naqvi，M.、Zhang，T.、Ricci，R.和Stutsman，R.Splinter：多租户低延迟存储的裸金属扩展。2018年USENIX OSDI。

[38]

Lamport，L.兼职议会。美国计算机学会计算机系统学报（TOCS）16，2（1998），133--169。

[39]

Lee，C.、Park，S.J.、Kejriwal，A.、Matsushita，S.和Ousterhout，J.在大规模和低延迟下实现线性化。在ACM SOSP 2015中。

数字图书馆

[40]

Li，T.、Chandramouli，B.、Faleiro，J.M.、Madden，S.和Kossmann，D.快速分布式存储的异步前缀可恢复性。在ACM SIGMOD 2021中。

[41]

Liu，T.、Curtsinger，C.和Berger，E.D.线程：高效确定性多线程。在ACM SOSP 2011中。

数字图书馆

[42]

Liu，X.、Kreitz，C.、van Renesse，R.、Hickey，J.、Hayden，M.、Birman，K.和Constable，R.从组件构建可靠、高性能的通信系统。在ACM SOSP 1999中。

数字图书馆

[43]

Lorch，J.R.、Adya，A.、Bolosky，W.J.、Chaiken，R.、Douceur，J.R和Howell，J.迁移复制状态服务的智能方法。在ACM EuroSys 2006中。

数字图书馆

[44]

Ongaro，D.和Ousterhout，J.K.寻找可理解的共识算法。USENIX ATC 2014。

数字图书馆

[45]

Ostrowski，K.，Birman，K.、Dolev，D.和Ahnn，J.H.使用实时分布式对象编程。在ECOOP 2008中。

[46]

Pedone，F.、Guerraoui，R.和Schiper，A.数据库状态机方法。分布式和并行数据库14，1（2003），71--98。

[47]

Peng，D.和Dabek，F.使用分布式事务和通知的大规模增量处理。在USENIX OSDI 2010中。

[48]

Ritchie，D.M.《UNIX系统：流输入输出系统》。AT&T贝尔实验室技术期刊63，8（1984），1897-1910。

[49]

Schneider，F.B.使用状态机方法实现容错服务：教程。ACM计算调查（CSUR）22，4（1990），299--319。

数字图书馆

[50]

Shute，J.、Vingralek，R.、Samwel，B.、Handy，B.、Whipkey，C.、Rollins，E.、Littlefield，M.O.K.、Menestrina，D.、Cieslewicz，S.E.J.、Rae，I.、Stancescu，T.和Apte，H.F1：一个可扩展的分布式SQL数据库。2013年VLDB。

数字图书馆

[51]

Tang，C.，Yu，K.，Veeraraghavan，K，Kaldor，J.，Michelson，S.，Kooburat，T.，Anbudurai，A.，Clark，M.，Gogia，K，Cheng，L.，Christensen，B.，Gartrell，A.，Khutornenko，M。绳线：共享基础设施的统一集群管理系统。在USENIX OSDI 2020中。

[52]

Van Renesse，R.和Altinbuken，D.Paxos制造了中等复杂度。ACM计算调查（CSUR）47，3（2015），1-36。

[53]

van Renesse，R.、Birman，K.P.、Friedman，R.，Hayden，M.和Karr，D.A.《荷鲁斯协议组成框架》。1995年ACM PODC。

数字图书馆

[54]

Van Renesse，R.、Birman，K.P.和Maffeis，S.Horus：一个灵活的群组通信系统。ACM通讯39，4（1996），76--83。

[55]

Wei，M.、Tai，A.、Rossbach，C.J.、Abraham，I.、Munshed，M.，Dhawan，M.和Stabile，J.、Wieder，U.、Fritchie，S.、Swanson，S.等。vCorfu:共享日志上的云级对象存储。2017年USENIX NSDI。

[56]

You，J.，Wu，J.、Jin，X.和Chowdhury，M.船舶计算或船舶数据？为什么两者都不？在USENIX NSDI 2021中。

[57]

Zhang，W.、Shenker，S.和Zhang、I.。具有nvram的可恢复内存存储系统的持久状态机。在USENIX OSDI 2020中。

[58]

Zimmermann，H.OSI参考模型——开放系统互连体系结构的ISO模型。IEEE通讯汇刊28，4（1980），425--432。

引用人

楚DPanchapakesan R公司阶梯S卡塔哈纳斯L刘CShivakumar K公司弯钩N海勒斯坦J霍华德·H(2024)使用查询重写优化分布式协议ACM数据管理会议记录10.1145/36392572:1(1-25)在线发布日期：24年3月26日
https://dl.acm.org/doi/10.1145/3639257
东Z王Z张X徐X赵C陈H熊猫A李杰(2023)分布式事务高效批量提交的细粒度重新执行VLDB捐赠会议记录10.14778/3594512.359452316:8(1930-1943)在线发布日期：2023年4月1日
https://dl.acm.org/doi/10.14778/35945512.3594523
李·T钱德拉穆利B伯克哈特S马登S(2023)DARQ物质绑定一切：通过弹性步骤实现高性能和可组合的云编程ACM数据管理会议记录10.1145/35892621:2(1-27)在线发布日期：2023年6月20日
https://dl.acm.org/doi/10.1145/3589262
显示更多引用者

索引术语

Delos中的日志结构协议
1. 计算机系统组织
  1. 可靠和容错的系统和网络
    1. 可靠性
2. 软件及其工程
  1. 软件组织和属性
    1. 软件系统结构
      1. 软件体系结构
        分层系统

建议

飞溅的日志结构合并树
SIGMOD’18：2018年国际数据管理会议记录

现代的持久键值存储通常使用日志结构的合并树（LSM-tree）设计，这允许高写吞吐量。然而，我们的观察结果是，LSM树在具有以下特性的读密集型工作负载窗口中具有次优性能。。。
阅读更多信息
日志结构文件系统的设计与实现

本文介绍了一种新的磁盘存储管理技术，称为日志结构文件系统。日志结构的文件系统以类似日志的结构顺序将所有修改写入磁盘，从而加快文件写入和崩溃。。。
阅读更多信息
变化网络条件下的状态机复制
密码学进展–ASIACRYPT 2022
摘要
状态机复制（SMR）协议通常设计用于同步或异步网络，在后一种情况下具有较低的损坏阈值。最近网络认知协议在同步或…中运行时是安全的。。。
阅读更多信息

评论

信息和贡献者

问询处

发布于

封面图片ACM会议

SOSP’21：ACM SIGOPS第28届操作系统原理研讨会会议记录

2021年10月

899页

国际标准图书编号：9781450387095

内政部：10.1145/3477132

版权所有©2021所有者/作者。

本作品根据Creative Commons Attribution International 4.0许可证授权。

赞助商

SIGOPS:ACM操作系统特别兴趣小组
USENIX协会：USENIX协会

出版商

计算机协会

美国纽约州纽约市

出版历史

出版：2021年10月26日

检查更新

作者标记

限定符

研究文章
研究
推荐有限公司

会议

SOSP’21

赞助商：

SIGOPS公司
USENIX协会

SOSP’21：ACM SIGOPS第28届操作系统原理研讨会

2021年10月26日至29日

虚拟活动，德国

接受率

716份提交文件中的总体接受率131份，18%

即将召开的会议

SOSP’24

赞助商：
小丑

ACM SIGOPS第30届操作系统原理研讨会

2024年11月5日至8日

奥斯汀，TX中，美国

贡献者

其他指标

查看文章指标

文献计量学和引文

文献计量学

文章指标

5
引文总数
查看引文
971
总下载次数

下载次数（过去12个月）150
下载次数（最近6周）15

其他指标

查看作者指标

引文

引用人

楚DPanchapakesan R公司拉德·S卡塔哈纳斯L刘C希瓦库马尔K弯钩N海勒斯坦J霍华德·H(2024)使用查询重写优化分布式协议ACM数据管理会议记录10.1145/36392572:1(1-25)在线发布日期：2024年3月26日
https://dl.acm.org/doi/10.1145/3639257
东Z王Z张X徐X赵C陈H熊猫A李杰(2023)分布式事务高效批量提交的细粒度重新执行VLDB捐赠会议记录10.14778/3594512.359452316:8(1930-1943)在线发布日期：2023年4月1日
https://dl.acm.org/doi/10.14778/35945512.3594523
李·T钱德拉穆利B伯克哈特S马登S(2023)DARQ物质绑定一切：通过弹性步骤实现高性能和可组合的云编程ACM数据管理会议记录10.1145/35892621:2(1-27)在线发布日期：2023年6月20日
https://dl.acm.org/doi/10.1145/3589262
Giantsidi D公司乔尔塔米斯E托诺N迪努F巴托蒂亚P对接A最小N查德K(2023)FlexLog：用于无服务器状态计算的共享日志第32届高性能并行和分布式计算国际研讨会论文集10.1145/3588195.3592993(195-209)在线发布日期：2023年8月7日
https://dl.acm.org/doi/10.1145/3588195.3592993
贾Z维切尔E(2021)博基ACM SIGOPS第28届操作系统原理研讨会会议记录10.1145/3477132.3483541(691-707)在线发布日期：2021年10月26日
https://dl.acm.org/doi/10.1145/3477132.3483541

视图选项

获取访问权限

登录选项

检查您是否可以通过登录凭据或您的机构访问本文。

完全访问权限

获取此出版物

查看选项

PDF格式

以PDF文件查看或下载。

电子阅读器

使用联机查看电子阅读器.

电子阅读器

媒体

数字

其他

桌子