跳到主要内容
10.1145/2213836.2213895acm会议文章/章节视图摘要出版物页面国防部会议记录会议收藏品
研究论文

面向大型图的有效分区管理

作者信息和声明
出版:2012年5月20日出版历史

摘要

从社交网络中的社区检测到从头开始的基因组序列组装,如今搜索和挖掘大型图对各种应用领域都至关重要。大型图的可伸缩处理需要仔细划分和跨集群分布图。在本文中,我们研究了在集群中管理大规模图的问题,并研究了在实际应用中流行的局部图查询的访问特征,如广度优先搜索、随机游走和SPARQL查询。这些查询具有很强的访问局部性,因此需要特定的数据分区策略。在这项工作中,我们提出了一个自进化分布式图形管理环境(Sedge),以最小化多机器图形查询处理期间的机器间通信。为了提高查询响应时间和吞吐量,Sedge引入了一个两级分区管理体系结构,其中包含互补的主分区和动态辅助分区。这两种分区能够实时适应查询工作负载的变化。(Sedge)还包括一组工作负载分析算法,其时间复杂度与图形大小呈线性或次线性关系。实证结果表明,它显著改进了当今商品集群的分布式图形处理。

工具书类

  1. D.Abadi、A.Marcus、S.Madden和K.Hollenbach。使用垂直分区的可扩展语义web数据管理。在VLDB中,第411--422页,2007年。谷歌学者谷歌学者数字图书馆数字图书馆
  2. R.Albert和A.-L.Barabasi。随机网络中缩放的出现。科学,286:509-5121999。谷歌学者谷歌学者交叉引用交叉引用
  3. M.Arenas和J.Pérez。使用sparql查询语义web数据。PODS,2011年。谷歌学者谷歌学者数字图书馆数字图书馆
  4. P.Boldi和S.Vigna。WebGraph框架I:压缩技术。在WWW中,第595-601页,2004年。谷歌学者谷歌学者数字图书馆数字图书馆
  5. M.Bröcheler、A.Pugliese、V.P.Bucci和V.S.Subrahmanian。COSI:大规模社交网络中面向云的子图识别。在ASONAM中,第248-255页,2010年。谷歌学者谷歌学者数字图书馆数字图书馆
  6. J.Broekstra、A.Kampman和F.V.Harmelen。芝麻:用于存储和查询rdf和rdf模式的通用架构。在ISWC,第54-68页,2002年。谷歌学者谷歌学者数字图书馆数字图书馆
  7. P.Buneman、G.Cong和W.Fan。在分布式查询求值中使用部分求值。在VLDB中,第211-222页,2006年。谷歌学者谷歌学者数字图书馆数字图书馆
  8. D.Chakrabarti、Y.Zhan和C.Faloutsos。R-mat:图形挖掘的递归模型。在SDM,2004年。谷歌学者谷歌学者交叉引用交叉引用
  9. E.科恩。大小估计框架及其在传递闭包和可达性方面的应用。J.计算。系统。科学。,55(3):441--453, 1997.谷歌学者谷歌学者数字图书馆数字图书馆
  10. C.Curino、E.Jones、Y.Zhang和S.Madden。Schism:一种工作负载驱动的数据库复制和分区方法。在VLDB中,第48-57页,2010年。谷歌学者谷歌学者数字图书馆数字图书馆
  11. A.Elmore、S.Das、D.Agrawal和A.E.Abbadi。Zephyr:在弹性云平台的无共享数据库中进行实时迁移。在SIGMOD中,第301-312页,2011年。谷歌学者谷歌学者数字图书馆数字图书馆
  12. J.Gilbert、G.Miller和S.H.Teng。几何网格划分:实现和实验。SIAM J.科学。计算。,19:2091--2110, 1998.谷歌学者谷歌学者数字图书馆数字图书馆
  13. A.Gionis、P.Indyk和R.Motwani。通过散列在高维中进行相似性搜索。在VLDB中,第518-529页,1999年。谷歌学者谷歌学者数字图书馆数字图书馆
  14. T.Heath和C.Bizer。链接数据:将Web演变为全球数据空间。摩根&克莱普尔,2011年。谷歌学者谷歌学者数字图书馆数字图书馆
  15. B.亨德里克森和T.G.科尔达。并行计算的图形分区模型。并行计算,26(12):1519--15342000。谷歌学者谷歌学者数字图书馆数字图书馆
  16. B.Hendrickson和R.Leland。划分图的多级算法。程序中。超级计算,1995年。谷歌学者谷歌学者数字图书馆数字图书馆
  17. J.Huang、D.J.Abadi和K.Ren。大型rdf图的可伸缩sparql查询。VLDB,2011年。谷歌学者谷歌学者数字图书馆数字图书馆
  18. G.Jeh和J.Widom。缩放个性化web搜索。在WWW中,第271-279页,2003年。谷歌学者谷歌学者数字图书馆数字图书馆
  19. U.Kang、C.Tsourakakis和C.Faloutsos。飞马座:一个PB级的图形挖掘系统。在ICDM中,第229-238页,2009年。谷歌学者谷歌学者数字图书馆数字图书馆
  20. G.Karypis和V.Kumar。一种用于划分不规则图的快速高质量多级方案。SIAM J.科学。计算。,20(1):359--392, 1999.谷歌学者谷歌学者数字图书馆数字图书馆
  21. P.Keleher、A.Cox和W.Zwaenepoel。软件分布式共享内存的延迟发布一致性。在ISCA中,第13-21页,1992年。谷歌学者谷歌学者数字图书馆数字图书馆
  22. B.W.Kernighan和S.Lin。一种有效的图划分启发式过程。贝尔系统技术期刊,49(1):291--3071970。谷歌学者谷歌学者
  23. J.Kleinberg,《小世界中的导航》。《自然》,406:8452000。谷歌学者谷歌学者交叉引用交叉引用
  24. D.科斯曼。分布式查询处理的最新技术。ACM事务处理。数据库系统。,32(4):422--469, 2000.谷歌学者谷歌学者数字图书馆数字图书馆
  25. J.Leskovec、K.Lang、A.Dasgupta和M.Mahoney。大型网络中的社区结构:自然集群规模和缺乏定义明确的大型集群。网络数学,6(1):29-1232009。谷歌学者谷歌学者交叉引用交叉引用
  26. D.Logothetis、C.Olston、B.Reed、K.C.Webb和K.Yocum。增量算法的状态批量处理。在SOCC中,第51-62页,2010年。谷歌学者谷歌学者数字图书馆数字图书馆
  27. G.Malewicz、M.Austern、A.Bik、J.Dehnert、I.Horn、N.Leiser和G.Czajkowski。Pregel:用于大规模图形处理的系统。在SIGMOD中,第135-146页,2010年。谷歌学者谷歌学者数字图书馆数字图书馆
  28. M.Najok.可扩展的超链接存储。在超文本中,第89-98页,2009年。谷歌学者谷歌学者数字图书馆数字图书馆
  29. M.Newman、A.L.Barabasi和D.J.Watts。网络的结构和动力学。普林斯顿大学出版社,2006年。谷歌学者谷歌学者数字图书馆数字图书馆
  30. M.H.Nodine、M.T.Goodrich和J.S.Vitter。阻止外部图形搜索。算法,16(2):181--2141996。谷歌学者谷歌学者交叉引用交叉引用
  31. F.Pellegrini和J.Roman。SCOTCH:通过过程图和架构图的双重递归二划分进行静态映射的软件包。在HPCN中,第493-498页,1996年。谷歌学者谷歌学者数字图书馆数字图书馆
  32. J.-M Pujol、V.Erramilli、G.Siganos、X.Yang、N.Laoutaris、P.Chhabra和P.Rodriguez。可能的小引擎:扩展在线社交网络。在SIGCOMM中,第375-3862010页。谷歌学者谷歌学者数字图书馆数字图书馆
  33. M.Schmidt、T.Hornung、G.Lausen和C.Pinkel。SP2Bench:sparql性能基准。在ICDE中,第222-233页,2009年。谷歌学者谷歌学者数字图书馆数字图书馆
  34. I.Stoica、R.Morris、D.Karger、M.F.Kaashoek和H.Balakrishnan。Chord:用于互联网应用程序的可扩展对等查找服务。在SIGCOMM中,第149-160页,2001年。谷歌学者谷歌学者数字图书馆数字图书馆
  35. D.Suciu。半结构化数据的分布式查询求值。ACM事务处理。数据库系统。,27(1):1--62, 2002.谷歌学者谷歌学者数字图书馆数字图书馆
  36. C.Walshaw、M.Cross和M.Everett。自适应非结构化网格的并行动态图划分。并行与分布式计算杂志,47(2):102-1081997。谷歌学者谷歌学者数字图书馆数字图书馆
  37. K.Wilkinson和K.Wilkinson。Jena属性表实现。SSWS,2006年。谷歌学者谷歌学者
  38. D.R.Zerbino和E.Birney。Velvet:使用de-bruijn图的从头开始短读汇编算法。基因组研究,18(5):821--8292008。谷歌学者谷歌学者交叉引用交叉引用

索引术语

  1. 面向大型图的有效分区管理

        建议

        评论

        登录选项

        检查您是否可以通过登录凭据或您的机构访问本文。

        登录

        完全访问权限

        • 发布于

          封面图片ACM会议
          2012年ACM SIGMOD国际数据管理会议记录
          2012年5月
          886页
          国际标准图书编号:9781450312479
          内政部:2014年10月14日/213836

          版权所有©2012 ACM

          如果复制品不是为了盈利或商业利益而制作或分发的,并且复制品的第一页载有本通知和完整引文,则允许免费制作本作品的全部或部分数字或硬拷贝以供个人或课堂使用。必须尊重ACM以外的其他人对本作品组成部分的版权。允许用信用证进行摘要。要以其他方式复制或重新发布,在服务器上发布或重新发布到列表,需要事先获得特定许可和/或付费。向请求权限[电子邮件保护]

          出版商

          计算机协会

          美国纽约州纽约市

          出版历史

          • 出版:2012年5月20日

          权限

          请求有关此文章的权限。

          请求权限

          检查更新

          限定符

          • 研究论文

          接受率

          2012年SIGMOD纸张接受率48属于289提交,17%总体验收率785属于4,003提交,20%

        PDF格式

        以PDF文件查看或下载。

        PDF格式

        电子阅读器

        使用eReader联机查看。

        电子阅读器