×
王维娜;Mor Harchol-Balter公司;姜浩天;阿兰·谢勒·沃尔夫;R·斯里坎特。

多任务并行作业的延迟渐近性和边界。 （英语） Zbl 1484.60101号

排队系统。 91，编号3-4，207-239（2019）.
摘要：我们研究由多个并行任务组成的作业的延迟，这是广泛应用中的一个关键性能指标，例如编码存储系统中的数据文件检索和并行计算。在这个问题中，每个工作仅在以下情况下完成全部的它的任务已完成，因此作业的延迟是其任务延迟的最大值。尽管这个问题受到了广泛的关注，但由于分析作业延迟需要描述任务延迟之间复杂的相关性，因此严格的分析在很大程度上仍然是未知的，这是很难做到的。我们首先考虑一个渐近状态，其中服务器的数量为无穷大，而作业中的任务数量为（k^{（n）}\)，可以随\（n\）增加。在条件（k^{（n）}=o（n^{1/4}）下，我们建立了任意（k^}（n。这大大推广了文献中的渐近独立性类型的结果，其中渐近独立性仅显示为固定的常数队列数。由于我们的独立性结果，作业延迟收敛到独立任务延迟的最大值。接下来我们考虑非渐近状态。在这里，我们证明了独立性对任意（n）和任意（k^{（n）}）与（k^}（n。我们证明的关键部分是我们开发的一种新技术，称为“泊松过采样”。我们的方法将作业延迟问题转化为相应的“球-钉”问题。然而，与箱之间存在负相关的典型球-箱问题相比，我们证明了我们的变量表现出正相关。

引用于2文件

MSC公司：

60千克25 排队论（概率论方面）
68平方米 计算机系统环境下的性能评估、排队和调度
90B22型 运筹学中的队列和服务

关键词：

大型系统;渐近独立性;随机变量的关联;并行作业

软件：

MapReduce
PDF格式BibTeX公司 XML格式引用
\textit{W.Wang}等人，《排队系统》。91，编号3--4，207--239（2019；Zbl 1484.60101）
全文： 内政部 arXiv公司

参考文献：

[1] Baccelli，F.：由具有两个需求的到达物创建的两个平行队列：M/G/2对称情况。技术报告RR-0426，INRIA（1985）
[2] Baccelli，F.，Makowski，A.M.：fork-join队列的简单可计算边界。技术报告RR-0394，INRIA（1985）
[3] Baccelli，F.，Makowski，A.M.，Shwartz，A.：具有同步约束的fork-join队列和相关系统：随机排序和可计算边界。高级应用程序。普罗巴伯。21, 629-660 (1989) ·兹比尔0681.60096 ·doi:10.2307/1427640
[4] Bramson，M.，Lu，Y.，Prabhakar，B.：随机负载平衡下队列的渐近独立性。排队系统。71(3), 247-292 (2012) ·Zbl 1275.60071号 ·doi:10.1007/s11134-012-9311-0
[5] Chen，Y.，Alspaugh，S.，Katz，R.：大数据系统中的交互式分析处理：MapReduce工作负载的跨行业研究。程序。荷兰VLDB。5(12), 1802-1813 (2012) ·doi:10.14778/2367502.2367519
[6] 考克斯·J.T.：哈里斯·安·普罗巴伯相关不等式的另一种证明。12(1), 272-273 (1984) ·Zbl 0536.60095号 ·doi:10.1214/aop/1176993391
[7] DasGupta，A.：统计学和概率的渐近理论。柏林施普林格出版社（2008）·Zbl 1154.62001年
[8] Dean，J.，Ghemawat，S.：MapReduce：大型集群上的简化数据处理。收录于：《USENIX会议操作系统设计与实现（OSDI）》，加利福尼亚州旧金山，第10-10页（2004）
[9] Esary，J.D.，Proschan，F.，Walkup，D.W.：随机变量与应用的关联。安。数学。《美国联邦法律大全》第38（5）卷，1466-1474（1967）·兹比尔0183.21502 ·doi:10.1214/aoms/1177698701
[10] Farhat，F.、Tootaghaj，D.、He，Y.、Sivasubramaniam，A.、Kandimer，M.、Das，C.：掉队者的随机建模和优化。IEEE传输。云计算。（2016）（待发布）
[11] Flatto，L.，Hahn，S.：两个平行队列，由两个需求的到达者创建。I.SIAM J.Appl。数学。44(5), 1041-1053 (1984) ·Zbl 0554.90041号 ·数字对象标识代码：10.1137/0144074
[12] Fortuin，C.M.，Kasteleyn，P.W.，Ginibre，J.：一些偏序集上的相关不等式。Commun公司。数学。物理学。22(2), 89-103 (1971) ·Zbl 0346.06011号 ·doi:10.1007/BF01651330
[13] Gardner，K.，Harchol-Balter，M.，Scheller-Wolf，A.：一个更好的作业冗余模型：将服务器速度减慢与作业大小解耦。在：IEEE国际计算机与电信系统建模、分析与仿真研讨会（MASCOTS），英国伦敦，第1-10页（2016）
[14] Gardner，K.，Harchol-Balter，M.，Scheller-Wolf，A.，Van Houdt，B.：一个更好的作业冗余模型：将服务器减速与作业大小解耦。IEEE/ACM传输。Netw公司。25（6），3353-3367（2017a）·doi:10.10109/TNET.2017.2744607文件
[15] Gardner，K.、Harchol-Balter，M.、Scheller-Wolf，A.、Velednitsky，M.和Zbarsky，S.：冗余-d：冗余的数据选择能力。操作。第65（4）号决议，1078-1094（2017b）·兹比尔1378.90040 ·doi:10.1287/opre.2016.1582
[16] Graham，C.：在多个队列中选择最短队列的排队网络的路径空间上的混沌性。J.应用。普罗巴伯。37(1), 198-211 (2000) ·Zbl 0961.60091号 ·doi:10.1017/S002190000015345
[17] Graham，C.，Méléard，S.：具有备用路由的全连通损耗网络的混沌传播。斯托克。程序。申请。44(1), 159-180 (1993) ·Zbl 0769.60093号 ·doi:10.1016/0304-4149（93）90043-4
[18] Harchol-Balter，M.：《计算机系统的性能建模和设计：实际排队理论》，第1版。剑桥大学出版社，纽约（2013）·Zbl 1282.68007号
[19] Harris，T.E.：偏序状态空间中Markov过程的相关不等式。安·普罗巴伯。5(3), 451-454 (1977) ·Zbl 0381.60072号 ·doi:10.1214/aop/1176995804
[20] Joag-Dev，K.，Proschan，F.：随机变量与应用的负关联。Ann.Stat.11（1），286-295（1983）·Zbl 0508.62041号 ·doi:10.1214/aos/1176346079
[21] Joshi，G.，Liu，Y.，Soljanin，E.：快速内容下载的编码。摘自：《Allerton通信、控制和计算年度会议记录》，伊利诺伊州蒙蒂塞洛，第326-333页（2012年）
[22] Joshi，G.、Soljanin，E.、Wornell，G.：云系统中减少延迟的高效冗余技术。ACM事务处理。模型。执行。评估。计算。系统。2(2), 12:1-12:30 (2017) ·doi:10.1145/3055281
[23] Ko，S.S.，Serfozo，R.F.：G/M/1分叉中的逗留时间——加入网络。导航。Res.日志。55(5), 432-443 (2008) ·Zbl 1209.90114号 ·doi:10.1002/nav.20294
[24] Kumar，A.，Shorey，R.：多计算机系统中随机分叉连接作业的性能分析和调度。IEEE传输。平行配送系统。4(10), 1147-1164 (1993) ·数字对象标识代码：10.1109/71.246075
[25] Lee，K.，Shah，N.B.，Huang，L.，Ramchandran，K.：MDS队列：分析擦除码的延迟性能。IEEE传输。《信息论》63（5），2822-2842（2017）·Zbl 1368.94160号
[26] Li，B.，Ramamorthy，A.，Srikant，R.：云存储系统中编码与复制的平均场分析。摘自：IEEE计算机通信国际会议（INFOCOM）论文集，加利福尼亚州旧金山，第1-9页（2016）
[27] Liggett，T.M.：相互作用粒子系统。柏林施普林格出版社（2005）·兹比尔1103.82016 ·数字对象标识代码：10.1007/b138374
[28] Lin，M.，Zhang，L.，Wierman，A.，Tan，J.：MapReduce中重叠阶段的联合优化。执行。评估。70(10), 720-735 (2013) ·doi:10.1016/j.peva.2013.08.013
[29] Lu，H.，Pang，G.：无限服务器分叉的严重流量限制——具有依赖和破坏性服务的加入排队系统。排队系统。85(1), 67-115 (2017) ·Zbl 1367.60116号 ·doi:10.1007/s11134-016-9505-y
[30] Lui，J.C.，Muntz，R.R.，Towsley，D.：在多处理环境下计算fork-join并行程序的性能边界。IEEE传输。平行配送系统。9(3), 295-311 (1998) ·数字对象标识代码：10.1109/71.674321
[31] Melamed，B.，Whitt，W.：到达时间平均值。操作。第38（1）号决议，156-172（1990）·Zbl 0702.6003号 ·doi:10.1287/opre.38.1156
[32] Meyn，S.P.，Tweedie，R.L.：马尔可夫过程的稳定性I：离散时间链的准则。高级应用程序。普罗巴伯。24(3), 542-574 (1992) ·Zbl 0757.60061号 ·doi:10.2307/1427479
[33] Meyn，S.P.，Tweedie，R.L.：马尔可夫过程的稳定性III：连续时间过程的Foster-Lyapunov准则。高级应用程序。普罗巴伯。25(3), 518-548 (1993) ·Zbl 0781.60053号 ·doi:10.2307/1427522
[34] Moseley，B.，Dasgupta，A.，Kumar，R.，Sarlós，T.：关于地图还原和流程车间的调度。摘自：《年度ACM算法与架构并行性研讨会论文集》，加利福尼亚州圣何塞，第289-298页（2011）
[35] Nelson，R.，Tantawi，A.N.：并行队列中fork/join同步的近似分析。IEEE传输。计算。37(6), 739-743 (1988) ·数字对象标识代码：10.1109/12.2213
[36] Nelson，R.、Towsley，D.、Tantawi，A.N.：并行处理系统的性能分析。IEEE传输。柔和。工程14（4），532-540（1988）·doi:10.1009/32.4676
[37] Rizk，A.，Poloczek，F.，Ciucu，F.：完全映射和部分映射下分叉-连接排队系统的随机边界。排队系统。83（3），261-291（2016）·Zbl 1348.90204号 ·doi:10.1007/s11134-016-9486-x
[38] Royden，H.L.，Fitzpatrick，P.M.：真实分析，第4版。皮尔逊，伦敦（2010）·Zbl 1191.26002号
[39] Shah，N.B.，Lee，K.，Ramchandran，K.：冗余请求何时减少延迟？摘自：《Allerton通信、控制和计算年度会议记录》，伊利诺伊州蒙蒂塞洛，第731-738页（2013）
[40] Shah，V.、Bouillard，A.、Baccelli，F.：数据集群中交付和编码策略的延迟比较。摘自：《Allerton通信、控制和计算年度会议记录》，伊利诺伊州蒙蒂塞洛，第397-404页（2017年）
[41] Sun，Y.，Koksal，C.E.，Shroff，N.B.：多服务器系统中批处理作业的近似延迟优化调度。俄亥俄州立大学。技术报告（2017）
[42] Tan，J.，Meng，X.，Zhang，L.：MapReduce调度中的延迟尾部。摘自：ACM SIGMETRICS/PERMANCE Jt会议记录。计算机系统测量和建模国际会议，英国伦敦，第5-16页（2012年）
[43] Thomasian，A.：fork/join和相关排队系统的分析。ACM计算。Surv公司。47(2), 17:1-17:71 (2014) ·doi:10.1145/2628913
[44] Varki，E.：并行计算机和存储系统的响应时间分析。IEEE传输。平行配送系统。12(11), 1146-1161 (2001) ·doi:10.1109/71.969125
[45] Vianna，E.，Comarela，G.，Pontes，T.，Almeida，J.，Almeida，V.，Wilkinson，K.，Kuno，H.，Dayal，U.：MapReduce工作负载的分析性能模型。国际期刊并行程序。41(4), 495-525 (2013) ·doi:10.1007/s10766-012-0227-4
[46] Vulimiri，A.，Michel，O.，Godfrey，P.B.，Shenker，S.：多即是少：通过冗余减少延迟。摘自：华盛顿州雷蒙德市ACM网络研讨会（HotNets）热点话题会议记录，第13-18页（2012年）
[47] Wang，W.，Zhu，K.，Ying，L.，Tan，J.，Zhang，L.：具有数据局部性的MapReduce中的MapTask调度：吞吐量和重流量优化。IEEE/ACM传输。Netw公司。24, 190-203 (2016) ·doi:10.1109/TNET.2014.2362745
[48] Xia，C.H.，Liu，Z.，Towsley，D.，Lelarge，M.：带阻塞的fork/join排队网络的可伸缩性。摘自：ACM SIGMETRICS计算机系统测量和建模国际会议记录，加利福尼亚州圣地亚哥，第133-144页（2007）
[49] Xiang，Y.，Lan，T.，Aggarwal，V.，Chen，Y.F.R.：擦除编码数据中心存储的联合延迟和成本优化。IEEE/ACM传输。Netw公司。24(4), 2443-2457 (2016) ·doi:10.10109/TNET.2015.22466453
[50] Xie，Q.，Lu，Y.：近数据调度的优先级算法：吞吐量和重流量优化。摘自：IEEE国际计算机通信会议（INFOCOM）会议记录，中国香港，第963-972页（2015）
[51] Xie，Q.，Dong，X.，Lu，Y.，Srikant，R.：大型垃圾箱包装的d选择权：一个损失模型。摘自：美国计算机学会SIGMETRICS计算机系统测量和建模国际会议记录，俄勒冈州波特兰，第321-334页（2015）
[52] Ying，L.，Srikant，R.，Kang，X.：随机负载平衡中略多于一个样本的功效。在：《IEEE国际计算机通信会议记录》（INFOCOM），香港九龙，第1131-1139页（2015）
[53] Zheng，Y.，Shroff，N.B.，Sinha，P.：一种新的分析技术，用于设计可证明有效的MapReduce调度器。摘自：IEEE国际计算机通信会议（INFOCOM）会议记录，意大利都灵，第1600-1608页（2013）
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。