×

通过启发式贪婪方法和缓存策略优化流图划分。 (英语) Zbl 1461.05168号

摘要:图分区是加速大型分布式图计算的一种重要方法。流图分区比离线分区更有效,近年来在图分区的应用中不断发展。在这项工作中,我们首先介绍了一种启发式贪婪流划分方法,并表明它优于最先进的流划分方法。其次,我们提出了一种用于流分区的缓存结构,称为相邻边缘结构,它可以在不影响分区质量的情况下,将单个商品类型计算机上的分区效率提高数倍。无论内存容量是否有限(本地缓存)(全局缓存),我们的策略还可以通过重新划分分区来提高分区质量。以线性权重贪婪流算法为例,在19个真实世界图上的实验结果表明,新方法的平均划分时间比原方法快4.9倍,这证明了本文所述缓存结构的有效性和优越性。

MSC公司:

05立方厘米70 具有特殊属性的边子集(因子分解、匹配、分区、覆盖和打包等)
05C82号 小世界图形、复杂网络(图形理论方面)
05C85号 图形算法(图形理论方面)
94C15号机组 图论在电路和网络中的应用
68兰特 计算机科学中的图论(包括图形绘制)
68周25 近似算法
PDF格式BibTeX公司 XML格式引用
全文: DOI程序

参考文献:

[1] 巴塔利诺,C。;Pienta,P。;Vuduc,R.,GraSP:分布式流图划分,高性能图挖掘研讨会(2015)
[2] 布卢索,A。;Meyerhenke,H。;萨夫罗,I。;桑德斯,P。;Schulz,C.,图划分的最新进展,算法工程,207-220(2016)
[3] Dutt,S.,新的更快的Kernighan-lin型图形划分算法,ICCAD,370-377(2011)
[4] Echbarthi,G。;Kheddouci,H.,《用于大规模图形划分的部分重排方法》,国际信号图像技术和基于互联网的系统会议,677-681(2015)
[5] Feige,美国。;Krauthgamer,R.,最小二等分的多对数近似,Soc.Ind.Appl。数学。,48, 105-115 (2002) ·Zbl 1015.68240号
[6] 可在http://newsroom.fb.com/company-info/#statistics。
[7] 约翰逊,D.S。;阿拉贡,C.R。;McGeoch,洛杉矶。;Schevon,C.,模拟退火优化:实验评估;第一部分,图分区,Oper。第37865-892号决议(1989年)·Zbl 0698.90065号 ·doi:10.1287/opre.37.6.865
[8] Kao,E。;加德帕利,V。;M.赫尔利。;琼斯,M。;凯普纳,J。;Mohindra,S。;Monticciolo,P。;A.鲁瑟。;萨姆西,S。;Song,W。;斯塔赫利,D。;Smith,S.,流图挑战:随机块划分,高性能极限计算会议,1-12(2017)
[9] Karedla,R。;Love,J.S。;Wherry,B.G.,《提高磁盘系统性能的缓存策略》,《计算机》,27,38-46(1994)·数字对象标识代码:10.1109/2.268884
[10] Karypis,G。;Kumar,V.,《多级图划分分析》,超级计算,1995年ACM/IEEE超级计算会议论文集,29(1995)
[11] Karypis,G。;Kumar,V.,《划分不规则图的快速高质量多级方案》,SIAM J.Sci。计算。,20, 359-392 (1998) ·Zbl 0915.68129号 ·doi:10.1137/S1064827595287997
[12] Kwak,H。;Lee,C。;帕克,H。;Moon,S.,什么是推特、社交网络或新闻媒体?,万维网国际会议,591-600(2010)
[13] Leskovec,J.,网址:http://snap.stanford.edu/snap, 2012.
[14] 刘,X。;周,Y。;关,X。;Shen,C.,一个用于并行计算大型图的可行图划分框架,Knowl。Based Syst,134,228-239(2017年)·doi:10.1016/j.knosys.2017.08.001
[15] 低,Y。;冈萨雷斯,J。;Kyrola,A。;比克森,D。;Guestrin,C。;Hellerstein,J.M.,《图形实验室:并行机器学习的新框架》,第26届人工智能不确定性会议,340-349(2010)
[16] Malewicz,G。;奥斯汀,M.H。;Bik,A.J.C.,Pregel:大型图形处理系统,ACM SIGMOD国际数据管理会议,135-146(2010)
[17] Martella,C。;Logothetis,D。;Loukas,A。;Siganos,G.,Spinner:云中的可扩展图分区,国际数据工程会议,1083-1094(2017)
[18] 莫汉,A。;Remya,G.,使用基于大数据的并行编程模型进行大规模图形处理的综述,Int.J.Intell。系统。申请。,9,49(2017)
[19] 西村,J。;Ugander,J.,《重组图分区:高级平衡的简单通用算法》,ACM SIGKDD知识发现和数据挖掘国际会议,1106-1114(2013)
[20] 佩莱格里尼,F。;Roman,J.,Scotch:《通过过程和架构图的双重递归双划分实现静态映射的软件包》,高性能计算和网络国际会议与展览,493-498(1996)
[21] Preen,R.J。;Smith,J.,带自适应粗化的进化n级超图划分(2018)
[22] 齐,L。;江,Z。;Xue,L.,DyBGP:基于启发式策略的动态平衡图分割算法,J.Compute。Res.Dev.,54,2851-2857(2017)
[23] 斯坦顿,I。;Kliot,G.,大型分布式图的流图划分,KDD,1222-1230(2012)
[24] 苏拉卡基斯,C。;Gkantsidis,C。;Radunovic,B.,FENNEL:大规模图的流图划分,ACM网络搜索和数据挖掘国际会议,333-342(2014)
[25] Ugander,J。;Backstrom,L.,用于划分大规模图的平衡标签传播,ACM Web搜索和数据挖掘国际会议,507-516(2013)
[26] 沃尔肖,C。;Cross,M.,JOSTLE:并行多级图分区软件——概述(2007)
[27] Zaharia,M。;乔杜里,M。;富兰克林,M.J。;申克,S。;Stoica,I.,Spark:带工作集的集群计算,云计算热点Usenix会议,10(2010)
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配,可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。