基于树型结构的MapReduce并行模型

doi:10.11896/j.issn.1002-137X.2015.11.013

摘要

摘要：MapReduce是Google推出的一种分布式计算模型，已广泛应用于海量数据处理领域。提出了一种新的MapReduce并行模型。该模型适用于在Internet或Intranet环境中使用不可靠的桌面PC资源进行大规模科学数据分析。计算节点以P2P的形式组织，底层采用P2P-MPI框架，消息传递接口模型实现MapReduce应用层。在MapReduce应用层的实现中，使用广播的方式在Map阶段分配数据块，并构造一个反向二叉树来实现在Reduce阶段有效的中间结果约简。将所提出的MapReduce模式与现有流行的MapReduce模式进行了比较。结果表明，所提出的基于树结构的MapReduce并行模型具有良好的容错性能，并且简单易行，便于应用程序开发。

关键词： MapReduce、树结构、二进制树、消息传递接口（MPI）

唐冰和何海武。基于树结构的MapReduce并行模型[J]。计算机科学，2015，42（11）：65-67。

工具书类

[1] Dean J，Ghemawat S.MapReduce:大型集群上的简化数据处理[J]。ACM通讯，2008，51（1）：107-113
[2] Anderson D P.BOINC：公共资源计算和存储系统[C]‖第五届网格计算国际研讨会论文集（Grid 2004）.2004:4-10
[3] Cappello F，Djilali S，Fedak G，等.大规模分布式系统的计算：XtremWeb体系结构、编程模型、安全性、测试和网格收敛[J]。未来一代计算机系统，2005,21（3）：417-437
[4] Litzkow M J，Livny M，Mutka M W.Condor-A Hunter of Idle Workstations第八届分布式计算系统国际会议（ICDCS 1988）论文集.1988:104-111
[5] 林H，马X，冯伟.基于机会主义资源的可靠MapReduce计算[J]。集群计算，2012,15（2）：145-161
[6] Marozzo F，Talia D，Trunfio P.P2P-Mapreduce:动态云环境中的并行数据处理[J]。计算机与系统科学杂志，2012,78（5）：1382-1402
[7] Costa F，Silva J N，Veiga L，等.互联网上的大规模志愿计算[J]。互联网服务与应用杂志，2012,3（3）：329-346
[8] 唐B，莫卡M，谢瓦利埃S，等.面向桌面网格计算的mapreduce[C]‖第五届P2P、并行、网格、云和互联网计算国际会议论文集（3PGCIC 2010）.2010:193-200
[9] 卢磊，金浩，石X，等.互联网计算的mapreduce评估：第十三届ACM/IEEE网格计算国际会议Hadoop和BitDew-mapreduce的比较[C]‖Proc.（Grid 2012）.2012:76-84
[10] Genaud S，Rattanapoka C.P2P-MPI:网格上消息传递并行程序稳健执行的对等框架[J]。网格计算杂志，2009,5（1）：27-42
[11] Genaud S，Rattanapoka C.消息传递并行程序的对等框架[M]‖Xhafa F，eds.网格和P2P系统中的并行编程、模型和应用，并行计算进展。IOS出版社，2009:118-147
[12] 卡彭特B，盖托夫V，贾德G，等。MPJ:Java的MPI-like消息传递[J]。并发实践与经验（Concurrency），2000，12（11）：1019-1038
[13] Fedak G，He H，Cappello F.BitDew:一种具有多协议文件传输和元数据抽象的数据管理和分发服务[J]。网络与计算机应用杂志，2009,32（5）：961-975

韵律学

已查看

全文

摘要

引用

共享

讨论

基于树结构的MapReduce并行模型

PDF（PC）

摘要

引用这篇文章

分享这篇文章

工具书类

相关文章0

韵律学

评论

推荐0