×
胡志刚;康慧;郑美光

基于在线支持向量回归的资源缩放流数据负载预测。 （英语） Zbl 1461.68036号

算法（巴塞尔） 12，第2号，第37号论文，第13页（2019）.
摘要：分布式数据流处理系统处理实时、可变和突发流数据负载。其弹性资源分配已成为一个基本且具有挑战性的问题，采用固定策略将导致资源浪费或QoS（服务质量）降低。Spark Streaming是一个新兴的系统，用于使用微银行方法处理实时流数据分析。本文首先提出了一种改进的基于SVR（支持向量回归）的流数据负载预测方案。然后，我们设计了一个基于spark的时间窗口最大可持续吞吐量（MSTW）性能模型，以找到优化的虚拟机数量。最后，我们提出了一种具有MSTW约束和流数据负载预测的资源伸缩算法TWRES（时间窗口资源弹性伸缩算法）。评估结果表明，TWRES可以提高资源利用率，缓解违反服务水平协议的情况。

MSC公司：

64岁以下 分布式系统
62H30型 分类和区分；聚类分析（统计方面）
68平方米 计算机系统中的性能评估、排队和调度

关键词：

流式处理;动态预测;自动缩放;在线支持向量回归;时间窗口最大吞吐量
PDF格式BibTeX公司 XML格式引用
\textit{Z.Hu}等人，《算法（巴塞尔协议）》第12卷第2期，第37号论文，第13页（2019年；Zbl 1461.68036）
全文： 内政部
OA许可证

参考文献：

[1] Lorido-Botran，T。；Miguel-Alonso，J。；Lozano，J.A。；云环境中弹性应用的自动缩放技术综述；J.网格计算：2014; 第12卷，559-592。
[2] Imai，S。；帕特森，S。；瓦雷拉，C.A。；公共云上数据流处理的最大可持续吞吐量预测；2017年第17届IEEE/ACM集群、云和网格计算国际研讨会（CCGRID）会议记录：，504-513.
[3] 方，W。；卢，Z。；吴，J。；Cao，Z。；RPPS：一种新的云数据中心资源预测和供应方案；IEEE第九届服务计算国际会议论文集：，609-616.
[4] 伊斯兰，S。；Keung，J。；Lee，K。；刘，A。；云环境中自适应资源供应的经验预测模型；未来一代。计算。系统：2012; 第28卷，155-162页。
[5] 朱，Q。；阿格拉瓦尔，G。；云环境中自适应应用程序的预算约束资源供应；IEEE传输。服务。计算：2012; 第5卷，497-511。
[6] Teng，L。；简，T。；杰龙，X。；一种用于快速分布式流数据处理的预测调度框架；2015 IEEE国际大数据会议记录：，333-338.
[7] 蒂齐亚诺德，M。；加布里埃尔，M。；分布式延迟敏感数据流操作符的弹性伸缩；2017年欧洲微观并行、分布式和网络处理国际会议（PDP）会议记录：，61-68.
[8] 比约恩，L。；J.彼得。；Odej，K。；具有延迟保证的弹性流处理；2015 IEEE第35届分布式计算系统国际会议论文集：，399-410.
[9] 劳尔，C.F。；马泰奥，M。；Evangelia，K。；彼得·P。；使用操作员状态管理在流处理中集成横向扩展和容错；2013年ACM SIGMOD国际数据管理会议记录：，725-736.
[10] 刘，N。；李，Z。；徐，J。；徐，Z。；Lin，S。；邱，Q。；Tang，J。；Wang，Y。；基于深度强化学习的云资源分配和功率管理分层框架；第37届IEEE分布式计算系统国际会议论文集：，372-382.
[11] Fu，T.Z。；丁，J。；马，R.T。；温斯利特，M。；Yang，Y。；张，Z。；DRS：用于快速流实时分析的动态资源调度；2015 IEEE分布式计算系统国际会议论文集：，411-420.
[12] 鲁本，M。；鲍里斯，K。；Kurt，R。；在事件处理操作符的并行执行中满足可预测的缓冲区限制；2014 IEEE大数据国际会议论文集：，402-411.
[13] Kumbhare，A.G.公司。；Simmhan，Y。；弗林库，M。；V.K.普拉桑纳。；云基础设施上动态数据流的响应式资源提供启发式方法；IEEE传输。云计算：2015; 第3卷，105-118。
[14] Alok，G.K。；优格什，S。；维克托，K.P。；塑料：云上连续数据流的预测性Look-Ahead调度；2014 IEEE/ACM集群、云和网格计算国际研讨会论文集：，344-353.
[15] Ye，K。；VDC中基于评测的工作负载整合与迁移；IEEE传输。平行配送系统：2015; 第26卷，878-890。
[16] Rao，J。；周，X。；实现公平高效的SMP虚拟机调度；关联计算。机器。：2014; 第49卷，273-285。
[17] 马德森，K.G.S。；周，Y。；大规模并行流处理引擎中的动态资源管理；第24届ACM信息与知识管理国际会议记录：，13-22.
[18] Wu，Y。；Tan，K.L。；时态流：云中的弹性状态流计算；2015年IEEE第31届国际数据工程会议记录：，723-734.
[19] Mencagli，G。；具有可变范围和切换代价的自治分布式并行计算的自适应模型预测控制；并发计算。实际。有效期：2016年；第28卷，2187-2212。
[20] R·健飞。；清华，Z。；Bo，D。；基于成本建模的公共云中spark应用程序的最优资源配置方法；第十六届国际中间件大会博士论文集：。
[21] Park，J。；Lee，D。；Kim，B。；哈，J。；Maeng，S。；mapreduce云上支持本地的动态虚拟机重构；第21届高性能并行与分布式计算国际研讨会论文集：。
[22] Canales-Busos，L。；Santibañez-González，E。；Candia-Véjar，A。；提出了一种有效的采矿脱碳供应链设计的多目标优化模型；国际生产经济杂志：2017; 第193卷，第449-464页。
[23] Dulebenets，文学硕士。；交叉货场卡车调度进化算法中弱突变和强突变机制的综合评价；IEEE接入：2018年；第6卷，65635-65650。
[24] I.T.佩雷斯。；H.M.雷波霍。；马蒂内利，R。；新泽西州蒙特罗。；有计划转运的库存优化问题：零售业的一个案例研究；国际生产经济杂志：2017; 第193卷，748-756。
[25] Dulebenets，文学硕士。；M.M.Golias。；米什拉，S。；过度需求下泊位分配的合作协议；工程应用。Artif公司。智力：2018; 第69卷，第76-92页。
[26] 丰塞卡，G.B。；Nogueira，T.H。；拉维蒂，M.G。；基于混合拉格朗日元启发式算法的跨坞流水车间调度问题；欧洲药典。决议：2018年；第275卷，第139-154页·Zbl 1430.90261号
[27] 尤尔吉，I。；克莱默，S。；施耐德，M。；将自适应大邻域搜索和禁忌搜索相结合，用于订单分批问题；欧洲药典。决议：2018年；第264卷，653-664页·Zbl 1375.90066号
[28] Dulebenets，文学硕士。；班轮运输船舶调度问题的多目标综合优化模型；国际生产经济杂志：2018; 第196卷，第293-318页。
[29] Arlitt，M。；Jin，T。；1998年世界杯网站工作量特征研究；Netw公司。IEEE:2000；第14卷，30-37。
[30] 波兰电力需求时间序列、达尔文海平面压力和达尔文海测试。
[31] Storm基准。
[32] 汤姆·索耶历险记古腾堡电子书项目。
此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。