×
Choi、Woohyuk;苏明洪;郑元基

Vispark：GPU使用Spark加速分布式视觉计算。 （英语） Zbl 1349.68032号

SIAM J.科学。计算。 38，第5号，S700-S719（2016）.
摘要：随着不同应用领域对大数据处理的需求不断增长，MapReduce（例如Hadoop）已成为集群系统上大规模计算的标准计算范式之一。尽管它很受欢迎，但当前的MapReduce框架仍存在编程模型和系统架构固有的灵活性不足和效率低下的问题。为了解决这些问题，我们提出了Vispark，这是Spark的一个新扩展，用于基于阵列的科学计算和图像处理任务上的GPU加速MapReduce处理。Vispark为GPU集群系统上的MapReduce编程提供了易于使用的、类似Python的高级语言语法和新颖的数据抽象。Vispark引入了一种编程抽象，用于访问mapper函数中的邻居数据，通过减少内存占用并绕过reduce阶段，大大简化了使用MapReduce的许多图像处理任务。Vispark提供了基于套接字的halo通信，用户可以透明地在数据分区之间进行同步，这对于分布式系统中的许多科学计算问题来说是必要的。Vispark还提供专门为高性能计算和图像处理应用程序设计的特定于域的功能和语言支持。我们演示了原型系统在几个视觉计算任务上的性能，例如图像处理、体绘制、K-means聚类和传热模拟。

引用于1文件

MSC公司：

64岁以下 分布式系统
65日元10 特定类别体系结构的数值算法
68甲19 其他编程范式（面向对象、顺序、并发、自动等）
68单位10 图像处理的计算方法
68岁20岁 模拟（MSC2010）
68宽15 分布式算法

关键词：

MapReduce;通用分组;分布式计算;可视化;特定领域语言

软件：

SciHive公司;火花;SciMATE公司;格雷克斯;维斯帕克;Hadoop公司;MapReduce
PDF格式BibTeX公司 XML格式引用
\textit{W.Choi}等人，SIAM J.Sci。计算。38，第5号，S700-S719（2016；Zbl 1349.68032）
全文： 内政部

参考文献：

[1] A.Abbasi、F.Khunjush和R.Azimi，《将GPU纳入Hadoop框架的初步研究》，载于《第16届CSI国际计算机体系结构与数字系统研讨会（CADS）论文集》，IEEE，2012年，第178-185页。
[2] Apache，{\它是Hadoop，}。
[3] R.Appuswamy、C.Gkantsidis、D.Narayanan、O.Hodson和A.Rowstron，{Hadoop的扩展与扩展：是时候重新思考了吗？}，《第四届云计算年度研讨会论文集》，SOCC’13，纽约，ACM，2013年，第20:1-20:13页。
[4] M.Armbrust，R.S.Xin，C.Lian，Y.Huai，D.Liu，J.K.Bradley，X.Meng，T.Kaftan，M.J.Franklin，A.Ghodsi，et al.，{it Spark SQL:Spark中的关系数据处理}，《2015年ACM SIGMOD国际数据管理会议论文集》，ACM，2015年，第1383-1394页。
[5] C.Basaran和K.-D.Kang，{\it Grex:图形处理单元的高效MapReduce框架}，J.并行分布式计算。，73（2013），第522-533页。
[6] G.Brumfiel，《高能物理：沿着PB级公路》，《自然》，469（2011），第282-283页。
[7] J.Buck、N.Watkins、G.Levin、A.Crume、K.Ioannidou、S.Brandt、C.Maltzahn、N.Polyzotis和A.Torres，《Hadoop中的结构感知智能数据路由》，载于《高性能计算、网络、存储和分析国际会议论文集》，ACM，2013，第73页。
[8] J.B.Buck、N.Watkins、J.LeFevre、K.Ioannidou、C.Maltzahn、N.Polyzotis和S.Brandt，｛\it SciHadoop:Hadoop中基于阵列的查询处理｝，载于《2011年高性能计算、网络、存储和分析国际会议论文集》，ACM，2011年，第66页。
[9] B.Catanzaro、N.Sundaram和K.Keutzer，《图形处理器编程的MapReduce框架》，《多核系统软件工具研讨会》，2008年。
[10] H.Choi，W.Choi、T.Quan、D.G.Hildebrand、H.Pfister和W.-K.Jeong，{维瓦尔第：分布式异构系统上用于卷处理和可视化的领域特定语言}，IEEE Trans。视觉。计算。图表。，20（2014），第2407-2416页。
[11] J.Dean和S.Ghemawat，{\it MapReduce:大型集群上的简化数据处理}，《第六届操作系统设计与实现研讨会论文集》，第6卷，加州伯克利，USENIX协会，2004年。
[12] M.Elteir、H.Lin、W.-c.Feng和T.Scogland，{it StreamMR:AMD GPU的优化MapReduce框架}，第17届并行和分布式系统国际会议（ICPADS），IEEE，2011年，第364-371页。
[13] W.Fang、B.He、Q.Luo和N.K.Govindaraju，《火星：用图形处理器加速MapReduce》，IEEE Trans。并行分布式系统，22（2011），第608-620页。
[14] Y.Geng，X.Huang，M.Zhu，H.Ruan，and G.Yang，{\it SciHive:使用hiveQL}进行基于数组的查询处理，收录于第十二届IEEE计算与通信信任、安全和隐私国际会议（TrustCom），IEEE，2013年，第887-894页。
[15] M.Grossman、M.Breternitz和V.Sarkar，{it HadoopCL:通过Hadoop和OpenCL}的无缝集成实现分布式异构平台上的MapReduce，第27届国际并行和分布式处理研讨会暨博士论坛（IPDPSW）会议记录，IEEE，2013年，第1918-1927页。
[16] V.Kaynig、A.Vazquez-Reina、S.Knowles-Barley、M.Roberts、T.R.Jones、N.Kasthuri、E.Miller、J.Lichtman和H.Pfister，{从电子显微镜图像大规模自动重建神经元过程}，医学图像分析。，22（2015），第77-88页。
[17] D.Laney，《3D数据管理：控制数据量、速度和种类》，技术报告，META Group，2001年。
[18] M.Lu，Y.Liang，H.P.Huynh，O.Z.Liang.，B.He和R.S.M.Goh，{it MrPhi:Intel Xeon Phi协处理器上的优化MapReduce框架}，IEEE Trans。并行分布式系统，26（2015），第3066-3078页。
[19] J.A.Stuart、C.-K.Chen、K.-L.Ma和J.D.Owens，《使用MapReduce的多GPU体绘制》，发表于2010年第一届MapReduce及其应用国际研讨会。
[20] J.A.Stuart和J.D.Owens，{GPU集群上的Multi-GPU MapReduce}，《2011年IEEE国际并行与分布式处理研讨会论文集》，IPDPS’11，华盛顿特区，2011年，第1068-1079页。
[21] D.Tam，{脸书数据速率}。
[22] H.T.Vo、J.Bronson、B.Summa、J.L.D.Comba、J.Freire、B.Howe、V.Pascucci和C.T.Silva，{\使用mapreduce}对大型集群进行并行可视化，收录于IEEE大数据分析与可视化（LDAV）研讨会论文集，IEEE，2011年，第81-88页。
[23] Y.Wang、G.Agrawal、T.Bicer和W.Jiang，{it Smart:现场科学分析的类似MapReduce的框架}，《高性能计算、网络、存储和分析国际会议论文集》，纽约，2015年，美国计算机学会，第51:1-51:12页。
[24] Y.Wang、W.Jiang和G.Agrawal，{it SciMATE:用于多种科学数据格式的新型MapReduce类框架}，载于2012年第12届IEEE/ACM集群、云和网格计算国际研讨会论文集（Ccgrid 2012），Ccgrid’12，华盛顿特区，2012年，第443-450页。
[25] R.S.Xin、J.Rosen、M.Zaharia、M.J.Franklin、S.Shenker和I.Stoica，{鲨鱼：SQL和大规模的丰富分析}，《2013年ACM SIGMOD国际数据管理会议论文集》，ACM，2013年，第13-24页。
[26] M.Zaharia、M.Chowdhury、T.Das、A.Dave、J.Ma、M.McCauley、M.J.Franklin、S.Shenker和I.Stoica，{\it Resilient distributed datasets:A fault-to-tolerance abstration for in-memory cluster computing}，《第九届USENIX网络系统设计与实现会议论文集》，NSDI’12，伯克利，加利福尼亚州，2012年，美国ENIX协会，第2-2页。
[27] M.Zaharia、M.Chowdhury、M.J.Franklin、S.Shenker和I.Stoica，{\it Spark:带工作集的集群计算}，《第二届USENIX云计算热点会议论文集》，HotCloud’10，加州伯克利，2010年，USENIX协会，第10-10页。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。