×

兹马思-数学第一资源

实时处理流式大数据。英语(英语) Zbl公司 1409.68063
小结:在数据爆炸的时代,每一时刻都会迅速产生大量的各种数据;如果不进行处理,它们的潜在信息的利润就会丢失。这是目前大多数企业和互联网巨头公司(也称为大数据问题)。大数据由三个维度组成:音量,多样性,和速度. 速度是指数据到达率(如流式数据)和数据处理(即实时处理)的高速。本文研究了大数据的速度维;因此,本文对流式大数据的实时处理进行了详细的研究。对于每一个实时系统来说,快速是不可避免的,也是一个必要的条件(尽管这是不够的,还有一些其他问题,例如。,实时调度也必须发布)。通过提出的并行算法实现了快速处理截止期调度方法。另一个前提是实时性处理(即任务的实时调度),a混合聚类多处理器实时调度算法提出了一种采用分区和全局实时调度相结合的调度方法,使系统具有更好的可调度性和资源利用率。同时,设计并提出了流式大数据实时处理所需的其它组件(RT-SBD公司)处理引擎。对其原型进行了实现和实验评估,并与之进行了比较风暴,著名的实时流式大数据处理引擎。实验结果表明,所提出的RT-SBD在比例截止期未命中率、元组延迟和系统吞吐量方面明显优于Storm引擎。
理学硕士:
68平方米 计算机系统环境中的性能评估、排队和调度
软件:
火山
PDF格式 BibTeX公司 XML 引用
全文: 多伊
参考文献:
[1] 阿巴迪,D;等,Aurora:数据流管理的新模型和架构,VLDB J,12,120-139,(2003)
[2] Alemi M,Safaei AA,Hagjhoo MS,Abdi F(2011)PDMRTS:数据流管理系统中考虑进程分布的多处理器实时调度。国际数字信息和通信技术及其应用会议,第166-179页
[3] Anderson J,Srinivasan A(2000)早期发布展览会日程安排。欧洲实时系统会议记录。IEEE计算机协会出版社,斯德哥尔摩,第35-43页
[4] 安德森,J;张国平,张国平,等.异步周期性任务的混合pfair/erfair调度,计算机系统科学杂志,68157-204,(2004)·Zbl公司 1072.68011
[5] Andersson B,Jonsson J(2003)多处理器上分区和pfair静态优先级调度的利用边界为50%。参加:第15届实时系统欧洲微型会议(ECRTS'03),葡萄牙波尔图,7月2日至4日
[6] Andersson B,Tovar E(2006)少抢占的多处理器调度。国际嵌入式实时计算系统与应用会议论文集
[7] Arasu A et al(2004)《线性道路:流数据管理基准》。第三十届超大数据库国际会议论文集,第30卷。VLDB捐赠
[8] Åsberg M et al(2012)Exsched:实时系统的外部cpu调度框架。2012年:IEEE第18届嵌入式实时计算系统与应用国际会议(RTCSA)。IEEE公司
[9] Astrom KJ,Hagglund TH(1995)PID控制器的新整定方法。第三届欧洲控制会议论文集
[10] Babcock B等人(2003)数据流系统中的模型和问题。第二十一届ACM SIGMOD-SIGACT-SIGART数据库系统原理研讨会论文集
[11] Babcock B et al(2004)《数据流上聚合查询的负载削减》。国际工程数据会议
[12] 巴布科克,B;等,数据流系统中的操作员调度,VLDB J,13333-353,(2004)
[13] Bans JM,Arenas A,Labarta J(2002)在多处理器硬实时系统中分配软非周期任务的有效方案。输入:PDPTA,第809-815页
[14] 巴鲁厄,N;等,比例进展:资源分配中的公平概念,算法,15600-625,(1996)·Zbl公司 848.68020
[15] Baruah S,Gehrke J,Plaxton C(1995)多资源周期性任务的快速调度。第九届国际并行处理研讨会论文集,1995年4月,第280-288页·Zbl公司 383.90056
[16] 贝洛格拉佐夫,A;阿巴瓦吉,J;Buyya,R,《云计算数据中心高效管理的能量感知分配启发式算法》,Future Gener Comput System,28755-768,(2012年)
[17] Bestavros A,Nagy S(1996)实时数据库的准入控制范式。波士顿大学计算机科学系技术报告BUCS-TR-96-902
[18] Bestavros A,Nagy S(1996)RTDB系统的价值认知接纳控制。在:IEEE第16届实时系统研讨会,1996年12月
[19] Block A et al(2008)多处理器实时系统的自适应框架。欧洲实时系统会议(ECRTS'08)。IEEE公司
[20] 博莱拉,G;《Java实时规范》,计算机,33,47-54,(2000)
[21] 不,是;等,Haloop:大型集群上的高效迭代数据处理,Proc VLDB Endow,3285-296,(2010)
[22] Carpenter J等(2004)实时多处理器调度问题和算法的分类。In:调度手册:算法、模型和性能分析·Zbl公司 1072.68011
[23] 陈菲利浦,CL;张春云,《数据密集型应用、挑战、技术与技术:大数据调查》,Inf Sci,275314-347,(2014)
[24] Condie T et al(2010)MapReduce Online,In:NSDI,第10卷,第4期
[25] Devi UC(2006)多处理器上的软实时调度。博士。论文,北卡罗来纳大学教堂山分校
[26] 达尔,S;刘春生,实时调度问题研究,第26期,第127-140页,(1978)·Zbl公司 383.90056
[27] Elliott GA,Ward BC,Anderson JH(2013)GPUSync:实时GPU管理框架。在:2013年IEEE第34届实时系统研讨会(RTSS)。IEEE公司
[28] Golab L(2004)在线数据流上的滑动窗口查询。在:ICDE/EDBT博士论文集。研讨会,3月,第1-10页
[29] Golatowski F et al(2002)实时调度算法和调度器实现的验证、测试和分析框架。在:第13届IEEE国际快速系统原型研讨会论文集,2002年。IEEE公司
[30] Graefe G等(1994)可扩展查询优化与火山并行执行。高级数据库系统的查询处理,Morgan Kafman
[31] 霍尔曼,P;Anderson,J.基于分组的pfair调度,实时系统,32,125-168,(2006)·Zbl公司 1105.68010
[32] http://www.espertech.com/esper/。访问日期:2016年5月20日
[33] https://storm.apache.org/。2015年3月20日访问
[34] 杰明,S;等,预测实时业务的准入控制算法,LNCS,712347-356,(1993)
[35] Johnson T et al(2008)用于监视大量网络数据流的查询感知分区。输入:SIGMOD
[36] Kato S,Yamasaki N(2007)多处理器上具有任务分割的实时调度。《嵌入式实时计算系统与应用国际会议论文集》,第441-450页
[37] Kato S,Yamasaki N(2008)基于EDF的多处理器调度。国际嵌入式软件会议记录,第139-148页
[38] Kato S,Yamasaki N(2008)在多处理器上使用总带宽服务器调度非周期性任务。EUC,第1卷,第82-89页
[39] Kleiminger W,Kalyvianaki E,Pietzuch P(2011)《利用云平衡流处理中的负载》,载:2011年IEEE第27届国际数据工程研讨会(ICDEW)。IEEE公司
[40] Kontaki M(2010)《数据流中偏好查询的连续处理》。第36届国际计算机科学理论与实践趋势国际会议(SOFSEM)·Zbl公司 1105.68010
[41] Kramer J(2009)《数据流上的连续查询-语义和实现》。kra公司
[42] Kulkarni S等人(2015年)《Twitter heron:大规模流处理》。在:ACM SIGMOD’15的进展,第239-250页
[43] Kwon J,Cho H,Ravindran B(2012),RTSJ中适应分类多处理器实时调度的框架。第十届实时与嵌入式系统java技术国际研讨会论文集。ACM公司
[44] Lakshmanan K等(2009)多核处理器的分区固定优先级抢占调度。Europp-39实时会议记录
[45] 林,W;等,木偶:mapreduce风格的快速数据处理,程序VLDB Endow,51814-1825,(2012)
[46] Lehner W,Sattler K-U(2013)《云网络规模数据管理》。柏林斯普林格
[47] Leontyev H(2010)多处理器软实时调度的组合分析技术。博士。论文,北卡罗来纳大学教堂山分校·Zbl公司 1192.65098
[48] 李X,王哈(2007)基于数据流的自适应实时查询调度。2007年9月23日至28日,维也纳VLDB
[49] Lopez J,Garcia M,Diaz J,Garcia D(2000)实时多处理器系统上EDF调度的最坏情况利用界。在:第12届实时系统欧洲微型会议论文集,6月,第25-33页
[50] Ma L et al(2009)具有截止日期的连续查询的实时调度。SAC'09,火奴鲁鲁,嗨
[51] 马里索尔,G-V;托马索,C;陈扬,L.,《实时虚拟化和可预测云计算的挑战》,J Syst Architect,60726-740,(2014)
[52] Mohammadi S(2010)基于系统条件和流特征的连续查询响应时间改进。M、 Sc。论文,伊朗科技大学
[53] Neumeyer L等(2010)S4:分布式流计算平台。2010年IEEE数据挖掘研讨会国际会议(ICDMW)。IEEE公司
[54] Regehr J,Stankovic JA(2001)HLS:一个用于组合软实时调度器的框架。第22届IEEE实时系统研讨会论文集(RTSS 2001)。IEEE公司
[55] 萨法伊AA,Haghjoo MS,Abdi F(2011)PFGN:一种用于数据流管理系统的混合多处理器实时调度算法。国际数字信息通信技术及其应用会议论文集,180-192页
[56] 萨法伊,AA;阿莱米,M;哈乔女士;Mohammadi,S,混合多处理器实时调度方法,国际计算机科学期刊,8171,(2011)
[57] 萨法伊,AA;谢里夫·拉扎维,A;Sharifi,M;王国平,王晓明,多核处理器上并行查询计划中数据流元组的动态路由,分布式并行数据库,30145-176,(2012)
[58] 萨法伊,AA;《数据流上连续查询的并行处理》,Distrib并行数据库,28,93-118,(2010)
[59] 萨法伊,AA;Haghjoo,MS,《连续查询并行执行中的流运算符调度》,超级计算机杂志,61619-641,(2012)
[60] 萨法伊,AA;哈希乔,MS,数据流并行处理,计算机科学与工程学报,11,11-29,(2014)
[61] Srinivasan A(2003)多处理器上实时任务的高效和灵活的公平调度。博士。论文,北卡罗来纳大学教堂山分校
[62] 斯里尼瓦桑,A;陈建华,安德生,多处理器软实时应用的有效调度,嵌入式计算机,1,1-14,(2004)
[63] 斯坦科维奇,JA;等,关于实时数据库的误解,计算机学报,32,29-36,(1999)
[64] 斯坦科维奇,JA;何谓实时系统的可预测性?,《实时系统》,247-254,(1990)
〔65〕 石匠,M;等,实时流处理的8个要求,SIGMOD Rec,34,42-47,(2005)
[66] Tatbul N等人(2003)数据流管理器中的负载削减。在:VLDB会议录,第309-320页
[67] STREAM Group(2003)STREAM:Stanford STREAM数据管理器。IEEE数据工程公报,2003年3月
[68] 谷值,MG;洛佩兹,爱尔兰;Villar,LF,Iland:面向服务的分布式实时系统实时重构的增强中间件,IEEE Trans-Ind-Inform,9228-236,(2013)
〔69〕 Wei Y et al(2007)分布式环境中实时数据流查询的QoS管理。在:IEEE面向对象实时分布式国际研讨会
[70] 魏勇,孙旭,贾斯坦科维奇(2006a)RTSTREAM:数据流的实时查询处理。在:第九届IEEE面向对象/组件/服务的实时分布式计算国际研讨会,第141-150页
[71] 魏勇,Prasad V,Son SH,Stankovic J(2006b),基于预测的实时数据流QoS管理。在:IEEE实时系统研讨会论文集(RTSS'06),12月
[72] Yang,H等人(2007)Map reduce merge:大型集群上简化的关系数据处理。2007年ACM SIGMOD国际数据管理会议论文集。ACM公司
[73] 杨Q;Koutsopoulos,HN,用于动态交通管理系统评估的微观交通模拟器,交通研究C,4113-129,(1996)
此参考列表基于出版商或数字数学图书馆提供的信息。它的项被试探性地匹配到zbMATH标识符,并且可能包含数据转换错误。它试图尽可能准确地反映原始论文中列出的参考文献,而不要求匹配的完整性或精确性。