跳到主要内容
10.5555/1267308.1267323诉讼指南文章/章节视图摘要出版物页面会议记录acm-pubtype公司
第条

Bigtable:结构化数据的分布式存储系统

出版:2006年11月6日出版历史

摘要

Bigtable是一种用于管理结构化数据的分布式存储系统,设计用于扩展到非常大的大小:跨数千台商品服务器的PB级数据。谷歌的许多项目将数据存储在Bigtable中,包括网络索引、谷歌地球和谷歌金融。这些应用程序在数据大小(从URL到网页到卫星图像)和延迟要求(从后端批量处理到实时数据服务)方面对Bigtable提出了截然不同的要求。尽管有这些不同的需求,Bigtable还是成功地为所有这些谷歌产品提供了灵活、高性能的解决方案。在本文中,我们描述了Bigtable提供的简单数据模型,该模型为客户端提供了对数据布局和格式的动态控制,并描述了Bigtable的设计和实现。

工具书类

  1. {1} ABADI,D.J.、MADDEN,S.R.和FERRIERA,M.C.在面向列的数据库系统中集成压缩和执行。程序。SIGMOD的(2006).]]谷歌学者谷歌学者数字图书馆数字图书馆
  2. {2} AILAMAKI,A.、DEWITT,D.J.、HILL,M.D.和SK-OUNAKIS,M.编织缓存性能的关系。VLDB杂志(2001),第169-180页。]]谷歌学者谷歌学者数字图书馆数字图书馆
  3. {3} BANGA,G.、DRUSCHEL,P.和MOGUL,J.C.资源容器:服务器系统中资源管理的新工具。程序。第三届OSDI(1999年2月),第45-58页。]]谷歌学者谷歌学者数字图书馆数字图书馆
  4. {4} BARU,C.K.,FECTEAU,G.,GOYAL,A.,HSIAO,H.,JHINGRAN,A.,PADMANABHAN,S.,COPELAND,G.P.,AND WILSON,W.G.DB2并行版。IBM系统杂志34, 2 (1995), 292-322.]]谷歌学者谷歌学者数字图书馆数字图书馆
  5. {5} BAVIER,A.、BOWMAN,M.、CHUN,B.、CULLER,D.、KARLIN,S.、PETERSON,L.、ROSCOE,T.、SPALINK,T.和WAWRZONIAK,M.对行星级网络服务的操作系统支持。程序。第一届NSDI(2004年3月),第253-266页。]]谷歌学者谷歌学者数字图书馆数字图书馆
  6. {6} BENTLEY,J.L.和MCILROY,M.D.使用长公共字符串进行数据压缩。数据压缩会议(1999),第287-295页。]]谷歌学者谷歌学者数字图书馆数字图书馆
  7. {7} BLOOM,B.H.哈希编码中允许错误的空间/时间权衡。CACM第13页, 7 (1970), 422-426.]]谷歌学者谷歌学者数字图书馆数字图书馆
  8. {8} BURROWS,M.松散耦合分布式系统的Chubby锁服务。程序。第七届OSDI(2006年11月)。]]谷歌学者谷歌学者数字图书馆数字图书馆
  9. {9} CHANDRA,T.、GRIESEMER,R.和REDSTONE,J.Paxos现场制作——工程视角。程序。PODC的(2007年)。]]谷歌学者谷歌学者数字图书馆数字图书馆
  10. {10} COMER,D.无处不在的B树。计算调查11,2(1979年6月),121-137。]]谷歌学者谷歌学者数字图书馆数字图书馆
  11. {11} COPELAND,G.P.、ALEXANDER,W.、BOUGHTER,E.E.和KELLER,T.W.布巴的数据放置。程序。SIGMOD的(1988),第99-108页。]]谷歌学者谷歌学者数字图书馆数字图书馆
  12. {12} DEAN,J.和GHEMAWAT,S.MapReduce:大型集群上的简化数据处理。程序。第六届OSDI(2004年12月),第137-150页。]]谷歌学者谷歌学者数字图书馆数字图书馆
  13. {13} DEWITT,D.,KATZ,R.,OLKEN,F.,SHAPIRO,L.,STONEBRAKER,M.,AND WOOD,D.主存数据库系统的实现技术。程序。SIGMOD的(1984年6月),第1-8页。]]谷歌学者谷歌学者数字图书馆数字图书馆
  14. {14} DEWITT,D.J.和GRAY,J.并行数据库系统:高性能数据库系统的未来。CACM第35页,6(1992年6月),85-98。]]谷歌学者谷歌学者数字图书馆数字图书馆
  15. {15} 法国,哥伦比亚特区。一刀切的数据库体系结构不适用于DSS。程序。SIGMOD的(1995年5月),第449-450页。]]谷歌学者谷歌学者数字图书馆数字图书馆
  16. {16} GAWLICK,D.和KINKADE,D.IMS/VS快速路径中的各种并发控制。数据库工程公告8, 2 (1985), 3-10.]]谷歌学者谷歌学者
  17. {17} GHEMAWAT,S.、GOBIOFF,H.和LEUNG,S.-T.谷歌文件系统。程序。第19届ACM SOSP(2003年12月),第29-43页。]]谷歌学者谷歌学者数字图书馆数字图书馆
  18. {18} GRAY,J.数据库操作系统注释。操作系统——高级课程,第60卷,共页计算机科学课堂讲稿施普林格-弗拉格出版社,1978年。]]谷歌学者谷歌学者数字图书馆数字图书馆
  19. {19} GREER、R.Daytona和第四代语言Cymbal。程序。SIGMOD的(1999),第525-526页。]]谷歌学者谷歌学者数字图书馆数字图书馆
  20. {20} HAGMANN,R.使用日志记录和组提交重新实现Cedar文件系统。程序。第11次SOSP(1987年12月),第155-162页。]]谷歌学者谷歌学者数字图书馆数字图书馆
  21. {21}HARTMAN,J.H.,AND OUSTERHOUT,J.K.斑马条纹网络文件系统。程序。第14次SOSP(北卡罗来纳州阿什维尔,1993年),第29-43页。]]谷歌学者谷歌学者数字图书馆数字图书馆
  22. {22}KX。COM.kx.COM/products/database.php。产品页面。]]谷歌学者谷歌学者
  23. {23}LAMPORT,L.兼职议会。ACM目录16, 2 (1998), 133-169.]]谷歌学者谷歌学者数字图书馆数字图书馆
  24. {24}MACCORMICK,J.、MURPHY,N.、NAJORK,M.、THEKKATH,C.A.和ZHOU,L.Boxwood:抽象是存储基础设施的基础。程序。第六届OSDI(2004年12月),第105-120页。]]谷歌学者谷歌学者数字图书馆数字图书馆
  25. {25}MCCARTHY,J.符号表达式的递归函数及其机器计算。CACM三,4(1960年4月),184-195年。]]谷歌学者谷歌学者数字图书馆数字图书馆
  26. {26}O'NEIL,P.、CHENG,E.、GAWLICK,D.和O'NEIL,E.日志结构合并树(LSM-tree)。学报信息33, 4 (1996), 351-385.]]谷歌学者谷歌学者数字图书馆数字图书馆
  27. {27}甲骨文。COM.www.oracle.COM/technology/products/-database/clustering/index.html。产品页面。]]谷歌学者谷歌学者
  28. {28}PIKE,R.、DORWARD,S.、GRIESEMER,R.和QUINLAN,S.解释数据:与Sawzall进行平行分析。科学规划杂志13, 4 (2005), 227-298.]]谷歌学者谷歌学者数字图书馆数字图书馆
  29. {29}RATNASAMY,S.、FRANCIS,P.、HANDLEY,M.、KARP,R.和SHENKER,S.可扩展内容寻址网络程序。SIGCOMM的(2001年8月),第161-172页。]]谷歌学者谷歌学者数字图书馆数字图书馆
  30. {30}ROWSTRON,A.和DRUSCHEL,P.Pastry:大规模对等系统的可伸缩分布式对象位置和路由。程序。中间件2001(2001年11月),第329-350页。]]谷歌学者谷歌学者数字图书馆数字图书馆
  31. {31}感官。COM.sensage.COM/products-sensage.htm。产品页面。]]谷歌学者谷歌学者
  32. {32}STOICA,I.、MORRIS,R.、KARGER,D.、KAASHOEK,M.F.和BALAKRISHNAN,H.Chord:适用于互联网应用程序的可扩展对等查找服务。程序。SIGCOMM的(2001年8月),第149-160页。]]谷歌学者谷歌学者数字图书馆数字图书馆
  33. {33}STONEBRAKER,M.无共享案例。数据库工程公告91986年3月1日至9日。]]谷歌学者谷歌学者
  34. {34}STONEBRAKER,M.、ABADI,D.J.、BATKIN,A.、CHEN,X.、CHERNIACK,M.,FERREIRA,M.和LAU,E.、LIN,A.、MADDEN,S.、O'NEIL,E.、O'NEIL,P.、RASIN,A.,TRAN,N.和ZDONIK,S.C存储:面向专栏的数据库管理系统程序。VLDB的(2005年8月),第553-564页。]]谷歌学者谷歌学者数字图书馆数字图书馆
  35. {35}STONEBRAKER,M.、AOKI,P.M.、DEVINE,R.、LITWIN,W.和OLSON,M.A.Mariposa:分布式数据的新架构。程序。第十届ICDE(1994),IEEE计算机学会,第54-65页。]]谷歌学者谷歌学者数字图书馆数字图书馆
  36. {36}SYBASE。COM.www.sybase.COM/products/database-servers/sybaseiq。产品页面。]]谷歌学者谷歌学者
  37. {37}ZHAO,B.Y.、KUBIATOWICZ,J.和JOSEPH,A.D.挂毯:容错广域定位和路由的基础设施。技术代表UCB/CSD-01-1141,CS部门,加州大学伯克利分校,2001年4月。]]谷歌学者谷歌学者数字图书馆数字图书馆
  38. {38}ZUKOWSKI,M.、BONCZ,P.A.、NES,N.和HEMAN,S.MonetDB/X100——CPU缓存中的DBMS。IEEE数据工程牛。28,2(2005),17-22.]]谷歌学者谷歌学者

索引术语

  1. Bigtable:结构化数据的分布式存储系统

        建议

        评论

        登录选项

        检查您是否可以通过登录凭据或您的机构访问本文。

        登录

        完全访问权限

        • 发布于

          封面图片指南会议记录
          OSDI’06:第七届USENIX操作系统设计与实现研讨会会议记录-第7卷
          2006年11月
          53页

          出版商

          USENIX协会

          美国

          出版历史

          • 出版:2006年11月6日

          限定符

          • 第条