×

路径图

swMATH编号: 41764
软件作者: 袁,P.,谢,C.,刘,L.,金,H。
描述: PathGraph:以路径为中心的图形处理系统。由于两个众所周知的问题,大规模迭代图计算提出了一个有趣的系统挑战:(1)缺乏访问局部性和(2)缺乏存储效率。本文介绍了PathGraph,这是一个用于改进具有数十亿条边的图的迭代图计算的系统。首先,我们通过使用基于树的分区集合对大型图建模,改进了大型图上迭代计算算法的内存和磁盘访问局部性。这使我们能够使用以路径为中心的计算,而不是以顶点为中心或以边缘为中心的计算机。对于每个树分区,我们使用DFS重新标记顶点,以保持顶点ID的顺序和路径中顶点顺序之间的一致性。其次,在PathGraph系统中开发了针对迭代图并行计算进行优化的紧凑存储。具体地说,我们使用增量压缩并以DFS顺序存储基于树的分区。通过将高度相关的路径聚集在一起作为基于树的分区,我们最大限度地提高了顺序访问,并最大限度地减少了对存储介质的随机访问。第三,我们的以路径为中心的计算模型是使用分散/聚集编程模型实现的。我们在分区树级并行迭代计算,并对每个树分区中的顶点执行顺序局部更新,以提高收敛速度。为了在树分区级别的并行线程之间提供平衡的工作负载,我们引入了基于多窃取点的任务队列的概念,以允许从任务队列中的多个点窃取工作。通过与GraphChi和X-Stream等最新的代表性图形处理系统进行比较,我们评估了PathGraph的有效性。我们的实验结果表明,对于内存内图和内核外图,我们的方法在许多图形算法上都优于这两个系统。虽然我们的方法实现了更好的数据平衡和负载平衡,但与线程增长的两个系统相比,它也显示出更好的加速
主页: https://faulty.cc.gatech.edu/~lingliu/papers/2016/PathGraph-TPDS.pdf
源代码:  https://github.com/CGCL-codes/PathGraph
相关软件: SympleGraph(交响乐图);美人鱼;布洛格尔;NScale园区;全球定位系统;胶子;图解法;八卦地图;GoFFish鱼;弗雷格尔;阿帕奇火花;HaLoop公司;万能药;绿色-马尔;吉拉夫;PowerGraph(功率图);图X;普雷格尔;图形实验室
引用于: 1文件

连载1篇

1 函数编程杂志

在1个字段中引用

1 计算机科学(68至XX)

按年份列出的引文