×
迪米特里斯·福塔基斯;米利斯，伊奥尼丝;奥雷斯蒂斯·帕帕迪戈诺;瓦萨洛斯，瓦西利斯;乔治·佐伊斯

在相同和不相关的处理器上安排MapReduce作业。 （英语） Zbl 1446.68023号

理论计算。系统。 64，第5期，754-782（2020年）.
摘要：我们考虑由多个映射减少回合组成的MapReduce作业的非抢占式调度，以最大限度地减少它们在相同或不相关的处理器环境中的平均加权完成时间。对于相同的处理器，我们提出了基于LP的（O（1））近似算法，而对于不相关的处理器，近似比率自然取决于任何作业的最大轮数（实际上是一个小常数）。对于单轮情况，我们大大改进了先前已知的近似比，同时我们在模型中引入了数据洗牌阶段的关键成本，即从Map到Reduce任务的中间数据传输成本。最后，我们通过在不相关处理器的一般情况下的仿真来评估我们的算法，将它们与问题的最优成本的下限以及将简单的任务在线分配给处理器与标准调度策略相结合的快速算法进行比较。正如我们所观察到的，对于捕获数据局部性问题的随机实例，我们的算法实现了出色的平均性能。

MSC公司：

68平方米 计算机系统中的性能评估、排队和调度
68瓦25 近似算法

关键词：

行程安排;MapReduce;优先约束;近似算法;线性规划;启发式;模拟

软件：

MapReduce;火花;德莱德
PDF格式BibTeX公司 XML格式引用
\textit{D.Fotakis}等人，理论计算。系统。64，第5号，754--782（2020；Zbl 1446.68023）
全文： 内政部

参考文献：

[1] Afrati，新墨西哥州；Das Sarma，A。；萨利霍格鲁，S。；Ullman，JD，MapReduce计算成本的上下限，超大数据库，6，4，277-288（2013）
[2] Afrati，新墨西哥州；Ullman，JD，《在地图还原环境中优化多路连接》，IEEE Trans。知识。数据工程，23，9，1282-1298（2011）·doi:10.1109/TKDE.2111.47
[3] Afrati，F.，Joglekar，M.，Ré，C.，Salihoglu，S.，Ullman，JD:GYM:MapReduce中的多轮连接算法。arXiv:11410.4156（2014年）·Zbl 1402.68036号
[4] Aspnes，J。；阿扎尔，Y。；菲亚特汽车公司。；Plotkin，S。；Waarts，O.，《虚拟电路在线路由及其在负载平衡和机器调度中的应用》，J.ACM，44，3，486-504（1997）·Zbl 0890.68014号 ·数字对象标识代码：10.1145/258128.258201
[5] Chang，H.，Kodialam，M.S.，Kompella，R.R.，Lakshman，T.V.，Lee，M.，Mukherjee，S.：在类似mapreduce的系统中调度以实现快速完成时间。收录于：INFOCOM，第3074-3082页（2011年）
[6] Chen，F.，Kodialam，M.S.，Lakshman，T.V.：mapreduce系统中处理和洗牌阶段的联合调度。收录于：INFOCOM，第1143-1151页（2012年）
[7] 科雷亚，JR；斯科特拉，M。；Verschae，J.，《不相关机器和应用程序对调度订单的抢占能力》，数学。操作。Res.，37,2379-398（2012年）·Zbl 1238.90062号 ·doi:10.1287/门1110.0520
[8] Dean，J.，Ghemawat，S.：MapReduce:大型集群上的简化数据处理。收录于：OSDI，第137-150页（2004年）
[9] 伊斯曼，WL；偶数，S。；Iaacs，IM，m处理器上n个作业的最优调度界限，Manag。科学。，11, 268-279 (1964) ·doi:10.1287/mnsc.11.268
[10] 马里兰州加里；约翰逊，DS；Sethi，R.，flowshop和jobshop调度的复杂性，数学。操作。第1、2、117-129号决议（1976年）·Zbl 0396.90041号 ·doi:10.1287/门1.2.117
[11] Graham，RL，《多处理时间异常的界限》，SIAM J.Appl。数学。，17, 2, 416-429 (1969) ·Zbl 0188.23101号 ·doi:10.1137/0117039
[12] 洛杉矶霍尔；Schulz，AS公司；Shmoys，DB；Wein，J.，《最小化平均完成时间的调度：离线和在线近似算法》，数学。操作。决议，22，513-544（1997）·Zbl 0883.90064号 ·doi:10.1287/门22.3.513
[13] 哈里里，AM；Potts，CN，调度无关并行机的启发式，计算。操作。决议，18，3，323-331（1991）·Zbl 0723.90038号 ·doi:10.1016/0305-0548（91）90034-O
[14] Isard，M.、Budiu，M.，Yu，Y.、Birrell，A.、Fetterly，D.：Dryad：来自连续构建块的分布式数据并行程序。收录于：EuroSys，第59-72页（2007年）
[15] Karloff，H.，Suri，S.，Vassilvitskii，S.：MapReduce的计算模型。摘自：SODA，第263-285页（2010年）·Zbl 1288.68247号
[16] Ling，X。；袁，Y。；王，D。；刘杰。；Yang，J.，MapReduce作业与服务器的联合调度性能边界和实验，J.并行分布计算。，90-91, 52-66 (2016) ·doi:10.1016/j.jpdc.2016.02.002
[17] Kumar，R.，Moseley，B.，Vassilvitskii，S.，Vattani，A.：mapreduce和流媒体中的快速贪婪算法。收录于：SPAA，第1-10页（2013年）
[18] Lin，J.，Vitter，J.S.：𝜖-违反最小包装约束的近似值。收录于：STOC，第771-782页（1992年）
[19] Mastrolilli，M。；Svensson，O.，近似流的硬度和车间调度问题，J.ACM，58，5，20（2011）·Zbl 1281.68127号 ·doi:10.1145/2027216.2027218
[20] Moseley，B.，Dasgupta，A.，Kumar，R.，Sarlós，T.：关于Map-Reduce和flow-shops中的调度。在：SPAA，第289-298页（2011年）
[21] 奎兰，M。；Schulz，AS，一般优先约束并行机调度问题的近似界，SIAM J.Compute。，35, 5, 1241-1253 (2006) ·Zbl 1100.68010号 ·doi:10.1137/S0097539799358094
[22] Queyranne，M.，简单调度多面体的结构，数学。程序。，58, 1, 263-285 (1993) ·Zbl 0778.90031号 ·doi:10.1007/BF01581271
[23] Shmoys，DB；爱沙尼亚塔尔多斯。，广义指派问题的近似算法，Math。程序。，62, 461-474 (1993) ·Zbl 0804.90077 ·doi:10.1007/BF01585178
[24] Yoo，D.-J.，Sim，K.M.：MapReduce作业调度的比较审查。收录于：CCIS，第353-358页（2011年）
[25] Zaharia，M.、Chowdhury，M.，Franklin，M.J.、Shenker，S.、Stoica，I.：火花：使用工作集的集群计算。摘自：HotCloud，第10-10页（2010年）
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。