跳到主要内容
10.1109/CCGRID.2018.00078acm会议文章/章节视图摘要出版物页面中央电网会议记录会议集合
研究论文

SHMEMGraph:使用单边通信的高效平衡图形处理

出版:2018年5月1日出版历史

摘要

最先进的同步图形处理框架同时面对这两个方面效率低下不平衡导致其性能不理想的问题。这些问题包括通信效率低下和迭代中不平衡的图形计算/通信成本。我们建议用单边通信模型取代传统的双边通信模型。因此,我们设计SHMEM图这是一个高效且平衡的图形处理框架,它在全局内存空间中进行了构建,并利用了图形处理的单边通信的灵活性和效率。SHMEMGraph通过高效的单边通信信道利用RDMA的高性能操作,同时最小化计算机节点内的资源争用。此外,SHMEMGraph综合了许多优化来解决这两个问题计算不平衡沟通不平衡。通过使用10亿条边的图,我们的评估表明,与最先进的Gemini框架相比,SHMEMGraph在五种代表性图算法的作业完成时间方面平均提高了35.5%。

参考文献

  1. 打开MPI。https://www.open-mpi.org/。谷歌学者谷歌学者
  2. 泰坦超级计算机。网址:https://www.olcf.ornl.gov/titan/。谷歌学者谷歌学者
  3. M.Besta、M.Podstawski、L.Groner、E.Solomonik和T.Hoefler。推或拉:关于减少图形计算中的通信和同步。第26届高性能并行和分布式计算国际研讨会(HPDC17), 2017.谷歌学者谷歌学者数字图书馆数字图书馆
  4. P.Boldi、M.Rosa、M.Santini和S.Vigna。分层标签传播:用于压缩社交网络的多分辨率无坐标排序。在S.Srinivasan、K.Ramamritham、A.Kumar、M.P.Ravindra、E.Bertino和R.Kumar的编辑中,第20届万维网国际会议记录,第587-596页。ACM出版社,2011年。谷歌学者谷歌学者数字图书馆数字图书馆
  5. P.Boldi和S.Vigna。WebGraph框架I:压缩技术。程序。第十三届国际万维网大会,第595-601页,美国曼哈顿,2004年。ACM出版社。谷歌学者谷歌学者数字图书馆数字图书馆
  6. B.Chapman、T.Curtis、S.Pophale、S.Puole、J.Kuehn、C.Koelbel和L.Smith。介绍openshmem:pgas社区的Shmem。分区全局地址空间规划模型第四次会议论文集,第2页。ACM,2010年。谷歌学者谷歌学者数字图书馆数字图书馆
  7. R.Chen、J.Shi、Y.Chen和H.Chen。Powerlyra:微分图计算和偏斜图上的分区。第十届欧洲计算机系统会议记录,第1页。ACM,2015年。谷歌学者谷歌学者数字图书馆数字图书馆
  8. A.Ching、S.Edunov、M.Kabiljo、D.Logothetis和S.Muthukrishnan。一万亿条边:脸书规模的图形处理。VLDB捐赠会议记录, 8(12):1804--1815, 2015.谷歌学者谷歌学者数字图书馆数字图书馆
  9. H.Fu、M.G.Venkata、A.R.Choudhury、N.Imam和W.Yu。openshmem上的高性能键值存储。第17届IEEE/ACM集群、云和网格计算国际研讨会论文集,第559-568页。IEEE出版社,2017年。谷歌学者谷歌学者数字图书馆数字图书馆
  10. J.E.Gonzalez、Y.Low、H.Gu、D.Bickson和C.Guestrin。功率图:自然图上的分布式图形并行计算。OSDI公司,第12卷,第2页,2012年。谷歌学者谷歌学者数字图书馆数字图书馆
  11. J.E.Gonzalez、R.S.Xin、A.Dave、D.Crankshaw、M.J.Franklin和I.Stoica。Graphx:分布式数据流框架中的图形处理OSDI公司,第14卷,第599-613页,2014年。谷歌学者谷歌学者数字图书馆数字图书馆
  12. M.Han、K.Daudjee、K.Ammar、M.T.庸zsu、X.Wang和T.Jin。类预凝胶图形处理系统的实验比较。VLDB捐赠会议记录, 7(12):1047--1058, 2014.谷歌学者谷歌学者交叉引用交叉引用
  13. J.Jose、S.Potluri、H.Subramoni、X.Lu、K.Hamidouche、K.Schulz、H.Sundar和D.K.Panda。使用混合mpi+pgas编程模型设计可扩展的核心外排序。第八届分区全球地址空间规划模型国际会议论文集,第7页。ACM,2014年。谷歌学者谷歌学者数字图书馆数字图书馆
  14. J.Jose、S.Potluri、K.Tomko和D.K.Panda。使用混合mpi+openshmem编程模型设计可伸缩的graph500基准测试。国际超级计算大会,第109-124页。施普林格,2013年。谷歌学者谷歌学者交叉引用交叉引用
  15. Z.Khayyat、K.Awara、A.Alonazi、H.Jamjoom、D.Williams和P.Kalnis。Mizan:大规模图形处理中的动态负载平衡系统。第八届ACM欧洲计算机系统会议记录,第169-182页。ACM,2013年。谷歌学者谷歌学者数字图书馆数字图书馆
  16. A.Kyrola、G.E.Blelloch和C.Guestrin。Graphchi:单台电脑上的大规模图形计算。USENIX,2012年。谷歌学者谷歌学者数字图书馆数字图书馆
  17. J.Leskovec和A.Krevl。SNAP数据集:斯坦福大学大型网络数据集收集。http://snap.stanford.edu/data,2014年6月。谷歌学者谷歌学者
  18. M.Li、X.Lu、K.Hamidouche、J.Zhang和D.K.Panda。Mizanrma:使用mpi-rma加速mizan图形处理框架。高性能计算(HiPC),2016 IEEE第23届国际会议,第42-51页。IEEE,2016年。谷歌学者谷歌学者交叉引用交叉引用
  19. M.Li、X.Lu、S.Potluri、K.Hamidouche、J.Jose、K.Tomko和D.K.Panda。采用mpi-3 rma的可缩放graph500设计。集群计算,2014 IEEE国际会议,第230-238页。IEEE,2014年。谷歌学者谷歌学者交叉引用交叉引用
  20. Y.Low、D.Bickson、J.Gonzalez、C.Guestrin、A.Kyrola和J.M.Hellerstein。分布式图形实验室:云中机器学习和数据挖掘的框架。VLDB捐赠会议记录, 5(8):716--727, 2012.谷歌学者谷歌学者数字图书馆数字图书馆
  21. G.Malewicz、M.H.Austern、A.J.Bik、J.C.Dehnert、I.Horn、N.Leiser和G.Czajkowski。Pregel:用于大规模图形处理的系统。2010年ACM SIGMOD国际数据管理会议记录,第135至146页。ACM,2010年。谷歌学者谷歌学者数字图书馆数字图书馆
  22. F.McSherry、M.Isard和D.G.Murray。可扩展性!但代价是什么?热操作系统, 2015.谷歌学者谷歌学者数字图书馆数字图书馆
  23. A.Roy、I.Mihailovic和W.Zwaenepoel。X-stream:使用流分区的以边缘为中心的图形处理。2013年9月。 谷歌学者谷歌学者数字图书馆数字图书馆
  24. B.Shao、H.Wang和Y.Li。Trinity:内存云上的分布式图形引擎。2013年ACM SIGMOD国际数据管理会议记录,第505--516页。ACM,2013年。谷歌学者谷歌学者数字图书馆数字图书馆
  25. J.Shun和G.E.Blelloch。Ligra:用于共享内存的轻量级图形处理框架。ACM Sigplan通知,第48卷,第135-146页。ACM,2013年。谷歌学者谷歌学者数字图书馆数字图书馆
  26. Wu M.、F.Yang、J.Xue、W.Xiao、Y.Miao、L.Wei、H.Lin、Y.Dai和L.Zhou。克:将图形计算缩放到万亿。第六届ACM云计算研讨会会议记录,第408-421页。ACM,2015年。谷歌学者谷歌学者数字图书馆数字图书馆
  27. C.Xie、R.Chen、H.Guan、B.Zang和H.Chen。同步或异步:用于分布式图形并行计算的融合时间。ACM SIGPLAN通知, 50(8):194--204, 2015.谷歌学者谷歌学者数字图书馆数字图书馆
  28. X.Zhu、W.Chen、W.Zheng和X.Ma。双子座:一个以计算为中心的分布式图形处理系统。第十二届USENIX操作系统设计与实现研讨会(OSDI 16), 2016.谷歌学者谷歌学者数字图书馆数字图书馆
  1. SHMEMGraph:使用单边通信的高效平衡图形处理

            建议

            评论

            登录选项

            检查您是否可以通过登录凭据或您的机构访问本文。

            登录

            完全访问权限

            • 发布于

              封面图片ACM会议
              CCGrid’18:第18届IEEE/ACM集群、云和网格计算国际研讨会论文集
              2018年5月
              731页
              国际标准图书编号:9781538658154

              出版商

              IEEE出版社

              出版历史

              • 出版:2018年5月1日

              检查更新

              限定符

              • 研究论文

            PDF格式

            以PDF文件查看或下载。

            PDF格式

            电子阅读器

            使用eReader联机查看。

            电子阅读器