跳到主要内容
研究论文
开放式访问

使用正式验证评估Spark应用程序的执行时间

作者信息和声明
出版:2020年2月1日出版历史
跳过抽象节

摘要

摘要

Apache Spark可能是开发大数据批处理应用程序以及在(虚拟)机器集群。一般来说,资源越多(机器)使用时,应用程序执行速度更快,但目前还没有足够的方法来确定火花的大小集群给定的时间限制,或预测给定的执行时间使用的机器数量。只能运行这些应用程序并利用她/他的经验确定集群的规模并预测预期执行时间。错误估计执行时间可能导致代价高昂的超支和过长的执行时间,因此需要提供精确时间的分析分级/预测技术担保。本文通过提出一个基于模型检查的解决方案。该方法利用定向抽象执行流结构的非循环图(DAG)在Spark程序中,用注释每个节点(Spark阶段)与执行相关的数据,并制定作为可达性问题的全局执行时间。为了避免众所周知的状态空间爆炸问题,本文还提出了一个减少生成的抽象模型大小的技术。这个导致使用的内存和/或验证显著减少时间使得我们的方法可以预测执行时间提供可用资源的Spark应用程序。的好处提出的简化技术通过使用两种定时方法进行评估自动机和约束LTL超时钟逻辑对生成的模型进行编码和分析。该方法也是在一些实际案例研究中成功验证。自从优化不是特定于火花的,我们声称它可以应用适用于广泛的应用程序,其底层模型可以抽象为DAG。

工具书类

  1. 【ACD93】阿鲁尔RCourcoubetis C课程Dill D公司密集实时模型检查Inf计算199310412341221370783.680762006年10月10日/inco.1993.1024谷歌学者谷歌学者数字图书馆数字图书馆
  2. [公元94年]阿鲁尔RDill D公司时间自动机理论Theor计算机科学199412621832351271580803.6807110.1016/0304-3975(94)90010-8谷歌学者谷歌学者数字图书馆数字图书馆
  3. [BAB+17]Brito A、Ardagna D、Blanker I、Evangelinou A、Barbierato E、Gribaudo M、Almeida J、Couto AP、Braga T(2017)D3.4 EUBra-BIGSEA QoS基础设施服务中间版本。EUBra-BIGSEA联合体技术报告谷歌学者谷歌学者
  4. [密件抄送+03]比埃尔A西马蒂A克拉克ECStrichman O型朱毅边界模型检查。高级计算200358118149谷歌学者谷歌学者
  5. [BDL+06]Behrmann G、David A、Larsen KG、Hakansson J、Petterson P、Yi W、Hendriks M(2006)Uppaal 4.0。摘自:第三届系统定量评估国际会议论文集,QEST’06,美国华盛顿特区。IEEE计算机学会,第125-126页谷歌学者谷歌学者
  6. [BDM+98]博兹加M道斯C马勒O奥利维罗ATripakis S公司Yovine S公司Ravn AP公司里舍尔HKronos:实时系统的模型检查工具实时和容错系统中的形式化技术1998柏林施普林格2983022007年10月10日/BFb0055357谷歌学者谷歌学者交叉引用交叉引用
  7. 【BGM11】巴雷西L盖兹C莫托拉LLoupe:使用放大镜验证发布订阅架构IEEE Trans软件工程201137222824610.1109/TSE.2010.39谷歌学者谷歌学者数字图书馆数字图书馆
  8. 【BHK99】Bradley S、Henderson W、Kendall D(1999)使用时间自动机对分布式实时系统进行响应时间分析。In:第24届IFAC/IFIP实时编程研讨会,第143-148页谷歌学者谷歌学者
  9. 【BLR05】贝尔曼GLarsen KG公司拉斯穆森JI基于定价时间自动机的最优调度SIGMETRICS执行评估版本2005324344010.1145/1059816.1059823谷歌学者谷歌学者数字图书馆数字图书馆
  10. 【Bou09】Bouyer P(2009)模型检查定时时间逻辑。电子笔记理论计算机科学231:323–341。第五次模式方法研讨会会议记录(M4M5 2007)谷歌学者谷歌学者
  11. 【BP98】Brin S,Page L(1998)大型超文本网络搜索引擎的剖析。摘自:国际全球网络会议(WWW)会议记录,第107–117页谷歌学者谷歌学者
  12. [BPKR16]Baresi L、Pourhashem Kallehbasti MM、Rossi M(2016)比特向量逻辑如何帮助改进无限域上LTL规范的验证。摘自:第31届ACM应用计算年度研讨会论文集,第1666-1673页谷歌学者谷歌学者
  13. 【BQ18】Baresi L,Quattrocchi G(2018年),面向垂直可扩展火花应用。In:2018年欧洲汽车展:平行加工车间。施普林格谷歌学者谷歌学者
  14. [BRS16a]Bersani MM,Rossi M,San Pietro P(2017)时间正则语言的逻辑特征。计算机科学理论658:46-59谷歌学者谷歌学者
  15. [BRS16b]贝萨尼MM罗西·M圣彼得罗一种确定连续时间度量时序逻辑可满足性的工具信息学报201653217120634662241336.6823010.1007/s00236-015-0229年谷歌学者谷歌学者数字图书馆数字图书馆
  16. 【Bur98】Burges CJC公司模式识别支持向量机教程数据最小知识发现19982212116710.1023/A:1009715923555谷歌学者谷歌学者数字图书馆数字图书馆
  17. 【CCG+02】Cimatti A、Clarke EM、Giunchiglia E、Giunciglia F、Pistore M、Roveri M、Sebastiani R、Taccella A(2002)Nusmv 2:符号模型检查的开源工具。In:计算机辅助验证,第14届国际会议,CAV 2002,哥本哈根,丹麦,2002年7月27日至31日,Proceedings,pp 359–364谷歌学者谷歌学者
  18. 【CESPS98】Clarke EC、Emerson EA、Jha S、Prasad Sistla A(1998)模型检查中的对称性降低。摘自:Hu AJ,Vardi MY(eds)计算机辅助验证,第十届国际会议,1998年6月28日至7月2日,加拿大不列颠哥伦比亚省温哥华CAV’98,会议记录。计算机科学课堂讲稿,第1427卷。施普林格,第147-158页谷歌学者谷歌学者
  19. 【CGP99】克拉克EMGrumberg O公司佩莱德DA模型检查1999剑桥麻省理工学院出版社1423.68002谷歌学者谷歌学者数字图书馆数字图书馆
  20. [类别96]Corbett JC(1996年7月)《ada任务程序的时间分析》。IEEE Trans Softw Eng 22(7):461–483谷歌学者谷歌学者
  21. [日期19]DAG-ver项目存储库。github.com/deib-polimi/DAG-ver, 2019谷歌学者谷歌学者
  22. 【DD07】德姆里·SD'Souza D公司约束LTL的自动机理论方法Inf计算200720538041522973621113.0301510.1016/j.ic.2006.09.006谷歌学者谷歌学者数字图书馆数字图书馆
  23. [稀释液50]迪尔沃思RP偏序集的分解定理数学安19505111611663257838.0200310.2307/1969503谷歌学者谷歌学者交叉引用交叉引用
  24. 【DMP09】Donaldson AF、Miller A和Parker D(2009),概率模型检查的语言级对称约简。2009年9月13日至16日,匈牙利布达佩斯,QEST 2009,第六届系统定量评估国际会议。IEEE计算机学会,第289–298页谷歌学者谷歌学者
  25. 【FS01】芬克尔ASchnoebelen P公司到处都是结构良好的过渡系统!Theor计算机科学2001256163921821455973.6817010.1016/S0304-3975(00)00102-X谷歌学者谷歌学者数字图书馆数字图书馆
  26. [神96]Godefroid P(1996)并发系统验证的部分顺序方法:状态爆炸问题的方法。计算机科学讲义,第1032卷。施普林格,柏林谷歌学者谷歌学者
  27. [GRB+17]詹尼蒂·ERizzi上午巴比拉托EGribaudo M公司Ardagna D公司用于mapreduce和Spark应用程序性能评估的流体petri网SIGMETRICS执行评估版本201744233610.1145/3092819.3092824谷歌学者谷歌学者数字图书馆数字图书馆
  28. [哈兹87]Hazewinkel M(1987)《数学百科全书》(1)。数学百科全书:苏联“数学百科全册”的更新和注释译文。施普林格,柏林谷歌学者谷歌学者
  29. 【亨00】亨廷格TA混合自动机理论2000柏林施普林格265292959.68073谷歌学者谷歌学者
  30. 【Hol97】霍尔兹曼GJ模型检查器SPINIEEE Trans软件工程199723527929510.1109/32.588521谷歌学者谷歌学者数字图书馆数字图书馆
  31. 【IG04】Ikiz S,Garg VK(2004)Dilworth链划分的在线算法。德克萨斯大学奥斯汀分校电气与计算机工程系并行与分布式系统实验室技术报告谷歌学者谷歌学者
  32. [JSBM15]Jang K、Sherry J、Ballani H、Moncaster T(2015)《思洛:云中可预测的消息延迟》。摘自:2015年ACM数据通信特别利益集团会议记录,2015年8月17日至21日,英国伦敦,SIGCOMM 2015,第435-448页谷歌学者谷歌学者
  33. 【KA10】Kc K,Anyanwu K(2010)安排hadoop作业以满足最后期限。收录:IEEE第二届云计算技术与科学国际会议论文集。电气与电子工程师协会谷歌学者谷歌学者
  34. 【KWPH04】Krakora J公司瓦兹尼奥斯基L比萨PHanzalek Z公司分布式系统实时验证的时间自动机方法IEEE工厂通信系统国际研讨会论文集2004200440741010.1109/WFCS2004.1377759谷歌学者谷歌学者
  35. [左外+14]Li S,Hu S,Wang S,Su L,Abdelzaher T,Gupta I,Pace R(2014)WOHA:hadoop集群上的死线软件地图还原工作流调度框架。收录:IEEE第34届分布式计算系统国际会议论文集。电气与电子工程师协会谷歌学者谷歌学者
  36. [MAA+14]贝萨尼MMFrigeri A公司Morzenti A公司Pradella M公司罗西·M圣彼得罗无自动机约束LTL可满足性检查J应用程序日志201412452255732733011310.681412016年10月10日/j.jal.2014.07.005谷歌学者谷歌学者
  37. [Mac67]MacQueen J(1967)多元观测分类和分析的一些方法。收录:Le Cam LM,Neyman J(编辑),第五届伯克利数理统计与概率研讨会论文集,第1卷。加利福尼亚大学出版社,第281-297页谷歌学者谷歌学者
  38. [MDC06]米勒A唐纳森空军考尔德M时序逻辑模型检查中的对称性ACM计算监视200638810.1145/1132960.1132962谷歌学者谷歌学者数字图书馆数字图书馆
  39. [MQB+18]Marconi F、Quattrocchi G、Baresi L、Bersani MM、Rossi M(2018)《大数据应用程序的时间分析》。收件人:Dutle A,Muñoz CA,Narkawicz A(eds)NASA正式方法第十届国际研讨会,2018年NFM,美国弗吉尼亚州纽波特新闻,2018年4月17日至19日,会议记录。计算机科学课堂讲稿,第10811卷。施普林格,第315–332页谷歌学者谷歌学者
  40. [ORR+15]Ousterhout K、Rasti R、Ratnasamy S、Shenker S、Chun B(2015)《数据分析框架中的性能意义》。收录:第12届USENIX网络系统设计与实现会议记录。USENIX公司谷歌学者谷歌学者
  41. [PBM+17]佩雷斯D贝尔纳迪S梅赛盖尔JJoJ雷克诺卡萨利G朱LDICE仿真工具:最终版本2017DICE财团可交付成果谷歌学者谷歌学者
  42. 【PGH98】Palencia JC,Gonzalez Harbour M(1998),具有静态和动态偏移的任务的可调度性分析。摘自:IEEE实时系统研讨会论文集,第26-37页谷歌学者谷歌学者
  43. [第18条]米兰理工大学(2019)Zot有界模型/可满足性检验。github.com/fm-polimi/zot谷歌学者谷歌学者
  44. 【万04】王F具有类bdd数据结构的时间自动机的有效验证国际J Softw Tools Technol Transf20046177972007年10月10日/10009-003-0135-4谷歌学者谷歌学者数字图书馆数字图书馆
  45. [WDR13]Waez曼恩商用车公司丁格尔J鲁迪·K用于实时系统开发的时间自动机综述计算科学版次201391261302.6818010.1016/j.cosrev.2013.05.001谷歌学者谷歌学者交叉引用交叉引用
  46. 【YAAM06】亚斯米娜·阿卜杜达伊姆细辛E马勒O时间自动机调度Theor计算机科学2006354227230022096021088.680232016年10月10日/j.tcs.2005.11.018谷歌学者谷歌学者数字图书馆数字图书馆
  47. 【YCH15】Yu J,Chen H,Hu F(2015)SASM:通过自适应偏差缓解改善Spark性能。参加:2015年IEEE信息与计算进展国际会议(PIC)谷歌学者谷歌学者

建议

评论

登录选项

检查您是否可以通过登录凭据或您的机构访问本文。

登录

完全访问权限

  • 发布于

    封面图像计算的形式方面
    计算的形式方面 第32卷第1期
    2020年2月
    150页
    国际标准编号:0934-5043
    EISSN公司:1433-299X年
    期刊目录

    ©英国计算机学会2020

    出版商

    Springer-Verlag公司

    柏林,海德堡

    出版历史

    • 出版:2020年2月1日
    • 认可的:2020年1月7日
    • 收到:2019年2月18日
    发布于fac公司第32卷第1期

    限定符

    • 研究论文
  • 文章指标

    • 下载次数(过去12个月)13
    • 下载次数(最近6周)1

    其他指标

PDF格式

以PDF文件查看或下载。

PDF格式

电子阅读器

使用eReader联机查看。

电子阅读器