Ali A.萨菲。 实时处理流式大数据。 （英语） Zbl 1409.68063号 实时系统。 53，第1号，1-44（2017）. 小结：在数据爆炸的时代，每时每刻都会快速生成大量的各种数据；如果不进行处理，他们潜在信息的利润就会被漏掉。这是目前大多数企业和互联网巨头公司（也称为大数据问题）。大数据由三个维度组成：体积,品种、和速度速度是指数据到达率（例如流数据）和数据处理（例如实时处理）的高速。本文关注的是大数据的速度维度；因此，本文详细讨论了流式大数据的实时处理。对于每个实时系统来说，快速是不可避免的，也是一个必要的条件（尽管这还不够，还有其他一些问题，例如。，实时调度也必须发布）。通过提出的死线软件调度方法。对于实时的其他先决条件处理（即任务的实时调度），a混合聚类多处理器实时调度算法提出了一种同时采用分区和全局实时调度的方法，以获得更好的可调度性和资源利用率，并具有可容忍的开销。流式大数据实时处理所需的其他组件也被设计为实时流化大数据(RT-SBD型)处理引擎。实现了其原型并进行了实验评估，并与风暴，一个著名的实时流式大数据处理引擎。实验结果表明，该RT-SBD在比例截止期未命中率、元组延迟和系统吞吐量方面明显优于Storm引擎。 MSC公司： 68平方米 计算机系统环境下的性能评估、排队和调度 关键词：流式传输大数据；混合多处理机实时调度；群集；死线软件调度；周期性连续查询 软件：火山 PDF格式BibTeX公司 XML格式引用 \textit{A.A.Safaei}，实时系统。53，第1号，1-44（2017；Zbl 1409.68063） 全文： 内政部 参考文献： [1] Abadi D等人（2003）《极光：数据流管理的新模型和架构》。VLDB J 12（2）：120-139·doi:10.1007/s00778-003-0095-z [2] Alemi M，Safaei AA，Hagjhoo MS，Abdi F（2011）PDMRTS：数据流管理系统中考虑进程分布的多处理器实时调度。摘自：数字信息和通信技术及其应用国际会议，第166-179页 [3] Anderson J，Srinivasan A（2000）早期发布公平调度。收录：实时系统欧洲显微会议论文集。IEEE计算机学会出版社，斯德哥尔摩，第35-43页 [4] Anderson J，Srinivasan A（2004）异步周期任务的混合公平/公平调度。计算机系统科学杂志68（1）：157-204·Zbl 1072.68011号 ·doi:10.1016/j.jcss.2003.08.002 [5] Andersson B，Jonsson J（2003）多处理器上分区和pfair静态优先级调度的利用率边界为50%。在：7月2日至4日在葡萄牙波尔图举行的第15届欧洲微型实时系统会议 [6] Andersson B，Tovar E（2006），少抢占的多处理器调度。In:嵌入式和实时计算系统及应用国际会议（RTCSA）会议记录 [7] Arasu A等人（2004）《线性道路：河流数据管理基准》，载于：第三十届超大数据库国际会议论文集，第30卷。VLDB捐赠 [8] Åsberg M等人（2012）Exsched：用于实时系统的外部cpu调度器框架。2012年IEEE第18届嵌入式和实时计算系统与应用国际会议（RTCSA）。电气与电子工程师协会 [9] Astrom KJ，Hagglund TH（1995）PID控制器的新调整方法。附：第三届欧洲控制会议记录 [10] Babcock B等人（2003）数据流系统中的模型和问题。附：第二十一届ACM SIGMOD-SIGACT-SIGART数据库系统原理研讨会会议记录 [11] Babcock B等人（2004），数据流聚合查询的减载。参加：国际数据工程会议（ICDE） [12] Babcock B等人（2004）数据流系统中的操作员调度。VLDB J 13（4）：333-353·doi:10.1007/s00778-004-0132-6 [13] Bans JM，Arenas A，Labarta J（2002）在多处理器硬实时系统中分配软周期任务的有效方案。收录：PDPTA，第809-815页 [14] Baruah N等人（1996年）《均衡进展：资源分配中的公平概念》。算法15:600-625·Zbl 0848.68020号 ·doi:10.1007/BF01940883 [15] Baruah S，Gehrke J，Plaxton C（1995）在多个资源上快速调度周期性任务。摘自：第九届国际并行处理研讨会论文集，1995年4月，第280-288页·Zbl 0383.90056号 [16] Beloglazov A、Abawajy J、Buyya R（2012），云计算数据中心高效管理的节能分配启发法。未来通用计算系统28:755-768·doi:10.1016/j.未来2011.04.017 [17] Bestavros A，Nagy S（1996）实时数据库的准入控制范式。技术报告BUCS-TR-96-902，波士顿大学计算机科学系，波士顿 [18] Bestavros A，Nagy S（1996）RTDB系统的价值认知准入控制。In:IEEE第16届实时系统研讨会，1996年12月 [19] Block A等人（2008）多处理器实时系统的自适应框架。In：欧洲微实时系统会议（ECRTS’08）。电气与电子工程师协会 [20] Bollella G，James G（2000）Java实时规范。计算机33（6）：47-54·doi:10.1109/2.846318 [21] Bu Y等人（2010）HaLoop：大型集群上的高效迭代数据处理。程序VLDB Endow 3（1-2）：285-296·doi:10.14778/1920841.1920881 [22] Carpenter J等人（2004）实时多处理器调度问题和算法的分类。收录：调度手册：算法、模型和性能分析·Zbl 1072.68011号 [23] Chen Philip CL，Zhang C-Y（2014）数据密集型应用、挑战、技术和技术：大数据调查。《信息科学》275:314-347·doi:10.1016/j.ins.2014.01.015 [24] Condie T等人（2010）MapReduce Online。收录：NSDI，第10卷，第4期 [25] Devi UC（2006）多处理器上的软实时调度。北卡罗来纳大学教堂山分校博士论文 [26] Dhall S，Liu C（1978）关于实时调度问题。运营研究26:127-140·Zbl 0383.90056号 ·doi:10.1287/opre.26.127 [27] Elliott GA、Ward BC、Anderson JH（2013）《GPUSync：实时GPU管理框架》。2013年IEEE第34届实时系统研讨会（RTSS）。电气与电子工程师协会 [28] Golab L（2004）在线数据流上查询滑动窗口。摘自：ICDE/EDBT博士研讨会论文集，3月，第1-10页 [29] Golatowski F等人（2002）实时调度算法和调度器实现的验证、测试和分析框架。摘自：2002年IEEE第13届快速系统原型国际研讨会论文集。电气与电子工程师协会 [30] Graefe G等人（1994）《火山中的可扩展查询优化和并行执行》。高级数据库系统的查询处理，Morgan Kafman [31] Holman P，Anderson J（2006），基于组的pfair调度。实时系统32（1-2）：125-168·Zbl 1105.68010号 ·doi:10.1007/s11241-006-4687-8 [32] http://www.espertech.com/esper/。2016年5月20日访问 [33] https://storm.apache.org/。2015年3月20日访问 [34] Jamin S等人（1993）预测性实时服务的接纳控制算法。LNCS 712（1993）：347-356 [35] Johnson T等人（2008）用于监控大规模网络数据流的查询软件分区。输入：SIGMOD [36] Kato S，Yamasaki N（2007）多处理器上任务分割的实时调度。摘自：《嵌入式和实时计算系统及应用国际会议论文集》，第441-450页 [37] Kato S，Yamasaki N（2008）多处理器上基于EDF的部分调度。摘自：《嵌入式软件国际会议论文集》，第139-148页 [38] Kato S，Yamasaki N（2008）在多处理器上使用总带宽服务器调度非周期性任务。EUC，第1卷，第82-89页 [39] Kleiminger W、Kalyvianaki E、Pietzuch P（2011）《利用云平衡流处理中的负载》。2011年IEEE第27届国际数据工程研讨会（ICDEW）。电气与电子工程师协会 [40] Kontaki M（2010）数据流中偏好查询的连续处理。参加：第36届计算机科学理论与实践当前趋势国际会议（SOFSEM）·Zbl 1105.68010号 [41] Kramer J（2009）《数据流的连续查询——语义和实现》。克拉 [42] Kulkarni S等人（2015）推特苍鹭：大规模流处理。附：ACM SIGMOD’15会议记录，第239-250页 [43] Kwon J，Cho H，Ravindran B（2012）RTSJ中支持分类多处理器实时调度的框架。摘自：第十届实时和嵌入式系统java技术国际研讨会论文集。ACM公司 [44] Lakshmanan K等人（2009）多核处理器的分区固定优先级抢占式调度。摘自：实时系统欧洲显微会议记录，第39-248页 [45] Lam W等人（2012）Muppet：MapReduce—快速数据处理的风格。VLDB Endow程序5（12）：1814-1825·doi:10.14778/2367502.2367520 [46] Lehner W、Sattler K-U（2013）《云的Web-scale数据管理》。柏林施普林格·doi:10.1007/978-1-4614-6856-1 [47] Leontyev H（2010）多处理器软实时调度的合成分析技术。北卡罗来纳大学教堂山分校博士论文·Zbl 1192.65098号 [48] Li X，Wang HA（2007）数据流自适应实时查询调度。VLDB’07年9月23日至28日，维也纳 [49] Lopez J、Garcia M、Diaz J和Garcia D（2000）实时多处理器系统上EDF调度的最坏情况利用率。摘自：《第12届实时系统欧洲微会议论文集》，6月，第25-33页 [50] Ma L等人（2009年）《带截止日期的连续查询的实时调度》。SAC’09，夏威夷州火奴鲁鲁 [51] Marisol G-V、Tommaso C、Chenyang L（2014）实时虚拟化和可预测云计算的挑战。J系统架构师60:726-740·doi:10.1016/j.sysarc.2014.07.004 [52] Mohammadi S（2010）基于系统条件和流特征的持续查询响应时间改进。伊朗科技大学理科硕士论文 [53] Neumeyer L等人（2010）S4:分布式流计算平台。2010年IEEE数据挖掘研讨会国际会议（ICDMW）。电气与电子工程师协会 [54] Regehr J，Stankovic JA（2001）HLS：组成软实时调度器的框架。摘自：第22届IEEE实时系统研讨会论文集（RTSS 2001）。电气与电子工程师协会 [55] Safaei AA，Haghjoo MS，Abdi F（2011）PFGN：一种用于数据流管理系统的混合多处理器实时调度算法。摘自：数字信息和通信技术及其应用国际会议论文集，第180-192页 [56] Safaei AA、Alemi M、Haghjoo MS、Mohammadi S（2011）《混合多处理器实时调度方法》。国际计算机科学杂志8（2）：171 [57] Safaei AA，Sharif Razavian A，Sharifi M，Haghjoo MS（2012）在多核处理器上运行的并行查询计划之间的数据流元组的动态路由。《分布式并行数据库》30（2）：145-176。doi:10.1007/s10619-012-7090-6·doi:10.1007/s10619-012-7090-6 [58] Safaei AA，Haghjoo MS（2010）数据流上连续查询的并行处理。分发并行数据库28（2-3）：93-118。doi:10.1007/s10619-010-70663·doi:10.1007/s10619-010-70663 [59] Safaei AA，Haghjoo MS（2012）连续查询并行执行中流操作符的调度。超级计算机杂志61（3）：619-641。doi:10.1007/s11227-011-0621-5·doi:10.1007/s11227-011-0621-5 [60] Safaei AA，Haghjoo MS（2014）数据流的并行处理。计算机科学与工程杂志11（2）：11-29 [61] Srinivasan A（2003）多处理器实时任务的高效灵活公平调度。北卡罗来纳大学教堂山分校博士论文 [62] Srinivasan A，Anderson JH（2004）多处理器上软实时应用程序的高效调度。嵌入式计算机1（3）：1-14 [63] Stankovic JA等人（1999）对实时数据库的误解。J计算32（6）：29-36·doi:10.1109/2.769440 [64] Stankovic JA，Ramamritham K（1990）实时系统的可预测性是什么？实时系统2（4）：247-254·doi:10.1007/BF01995673 [65] Stonebraker M等人（2005）实时流处理的8个要求。SIGMOD记录34（4）：42-47·doi:10.1145/1107499.1107504 [66] Tatbul N等人（2003），数据流管理器中的减载。收录：VLDB会议记录，第309-320页 [67] STREAM Group（2003）STREAM：斯坦福流数据管理器。IEEE数据工程公告，2003年3月 [68] Valls MG、Lopez IR、Villar LF（2013）iLAND：面向服务的分布式实时系统实时重新配置的增强中间件。IEEE Trans Ind通知9（1）：228-236·doi:10.1109/TII.2012.2198662 [69] Wei Y等人（2007）分布式环境中实时数据流查询的QoS管理。参加：IEEE面向对象实时分布式国际研讨会 [70] Wei Y，Son SH，Stankovic JA（2006a）RTSTREAM：数据流的实时查询处理。摘自：第九届IEEE对象/组件/面向服务的实时分布式计算国际研讨会，第141-150页 [71] Wei Y，Prasad V，Son SH，Stankovic J（2006b）基于预测的实时数据流QoS管理。摘自：IEEE实时系统研讨会（RTSS’06）会议记录，12月 [72] Yang，H等人（2007）地图还原-大型：大型集群上简化的关系数据处理。摘自：2007年ACM SIGMOD数据管理国际会议记录。ACM公司 [73] Yang Q，Koutsopoulos HN（1996）动态交通管理系统评价的微观交通模拟器。运输研究C 4（3）：113-129·doi:10.1016/S0968-090X（96）00006-X 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。