×

兹马思-数学第一资源

使用形式化验证来评估Spark应用程序的执行时间。(英语) Zbl公司 1451.68166
概要:apachespark可能是开发大数据批处理应用程序和在(虚拟)机器集群上执行它们的最广泛采用的框架。一般来说,一个人使用的资源(机器)越多,应用程序的执行速度就越快,但是目前还没有足够的方法来确定给定时间限制下的Spark群集的大小,或者根据使用的机器数量来预测执行时间。我们只能运行这些应用程序,并利用自己的经验来调整集群的大小并预测预期的执行时间。对执行时间的错误估计可能导致代价高昂的超支和过长的执行,因此需要提供精确时间保证的分析规模/预测技术。本文提出了一种基于模型检验的解决方案。该方法利用有向无环图(DAG)来抽象Spark程序的执行流的结构,用执行相关数据对每个节点(Spark stage)进行注释,并将全局执行时间标识为可达性问题。为了避免众所周知的状态空间爆炸问题,本文还提出了一种减小生成抽象模型大小的方法。这导致使用的内存和/或验证时间显著减少,这使得我们的方法在给定可用资源的情况下预测Spark应用程序的执行时间是可行的。通过使用时间自动机和约束LTL-over-clocks逻辑对生成的模型进行形式化编码和分析,评估了该简化技术的优点。该方法在实际案例中也得到了成功的验证。由于优化不是特定于Spark的,我们声称它可以应用于广泛的应用,其底层模型可以抽象为DAG。
理学硕士:
68Q60型 规范和验证(程序逻辑、模型检查等)
PDF格式 BibTeX公司 XML 引用
全文: 内政部
参考文献:
[1] 铝,R。;库库贝蒂斯,C。;Dill,D.,《密集实时中的模型检验》,Inf计算机,104,1,2-34(1993)·Zbl公司 783.68076
[2] 铝,R。;Dill,D.,《时间自动机理论》,Thero Comput Sci,126,2183-235(1994)·Zbl公司 803.68071
[3] Brito A、Ardagna D、Blanquer I、Evangelinou A、Barbierato E、Gribaudo M、Almeida J、Couto AP、Braga T(2017)D3.4 EUBra BIGSEA QoS基础设施服务中间版本。EUBra BIGSEA联合体技术报告
[4] 比尔,A。;西马蒂,A。;克拉克,欧共体;斯特里克曼,哦。;Zhu,Y.,有界模型检验。Adv Comput,58118-149(2003年)
[5] Behrmann G,David A,Larsen KG,Hakanson J,Petterson P,Yi W,Hendriks M(2006)Uppaal 4.0。在:第三届系统定量评估国际会议论文集,QEST'06,华盛顿特区,美国,IEEE计算机学会,第125-126页
[6] 博兹加,M。;道斯,C。;马勒,O。;奥利弗罗,A。;特里帕基斯。;约文,S。;拉文,美联社;Rischel,H.,Kronos:实时系统的模型检查工具,实时和容错系统中的形式化技术,298-302(1998),柏林:斯普林格,柏林
[7] 巴雷西,L。;盖兹,C。;Mottola,L.,Loupe:用放大镜验证发布-订阅体系结构,IEEE Trans-Softw Eng,37,228-246(2011)
[8] Bradley S,Henderson W,Kendall D(1999),使用时间自动机对分布式实时系统的响应时间进行分析。第24届IFAC/IFIP实时编程研讨会,第143-148页
[9] 贝尔曼,G。;拉森,KG;JI Rasmussen,JI,《使用定价时间自动机的最优调度》,SIGMETRICS Perform Eval Rev,32,4,34-40(2005)
[10] Bouyer P(2009)模型检验定时时序逻辑。《计算机科学电子笔记》231:323-341。2007年第5届M5方法研讨会的模式·Zbl公司 1347.68218
[11] Brin S,Page L(1998)大型超文本web搜索引擎的剖析。国际万维网会议记录,第107-117页
[12] Baresi L,Pourhashem Kallehbasti MM,Rossi M(2016)位向量逻辑如何帮助改进无限域上LTL规范的验证。在:第31届ACM应用计算研讨会论文集,第1666-1673页
[13] Baresi L,Quattrocchi G(2018年),面向垂直可扩展spark应用。In:Euro Par 2018:平行加工车间。斯普林格
[14] Bersani MM,Rossi M,San Pietro P(2017)《定时正则语言的逻辑特征》。计算机科学理论658:46-59·Zbl公司 1355.68150
[15] 贝尔萨尼,MM;罗西,M。;San Pietro,P.,《决定连续时间度量时态逻辑可满足性的工具》,《信息学报》,53,2171-206(2016)·Zbl公司 1336.68230
[16] Burges,CJC,模式识别支持向量机教程,数据Min Knowl Discov,2,221-167(1998)
[17] Cimatti A,Clarke EM,Giunchiglia E,Giunchiglia F,Pistore M,Roveri M,Sebastiani R,Tachella A(2002)Nusmv 2:符号模型检查的开源工具。In:计算机辅助核查,第14届国际会议,CAV 2002,丹麦哥本哈根,2002年7月27日至31日,会议记录,第359-364页·Zbl公司 1010.68766
[18] Clarke EC,Emerson EA,Jha S,Prasad Sistla A(1998)《模型检查中的对称性缩减》。在:Hu AJ,Vardi MY(eds)计算机辅助验证,第10届国际会议,CAV’98,加拿大不列颠哥伦比亚省温哥华,1998年6月28日至7月2日,会议记录。计算机科学讲义,卷1427。斯普林格,147-158页
[19] 克拉克,嗯;格鲁贝格,O。;Peled,DA,Model checking(1999),剑桥:麻省理工学院出版社,剑桥
[20] Corbett JC(1996年7月)《ada任务程序的时间分析》。IEEE Trans软件工程22(7):461-483
[21] DAG-ver项目存储库。github.com/deib-polimi/DAG-ver,2019年
[22] Demri,S。;D'Souza,D.,约束LTL的自动机理论方法,Inf Comput,205,3,380-415(2007)·Zbl公司 1113.03015
[23] 狄尔沃思,RP,偏序集的分解定理,安数学,51,161-166(1950)·Zbl公司 38.02003
[24] Donaldson AF,Miller A,Parker D(2009)《概率模型检查的语言级对称性缩减》。2009年QEST,第六届系统定量评估国际会议,匈牙利布达佩斯,2009年9月13日至16日。IEEE计算机协会,第289-298页
[25] 芬克尔,A。;Schnoebelen,P.,到处都是结构良好的过渡系统!,《计算机科学》,256,1,63-92(2001)·Zbl公司 973.68170
[26] Godefrod P(1996)并发系统验证的偏序方法:状态爆炸问题的一种方法。计算机科学讲义,第1032卷。柏林斯普林格·Zbl公司 1293.68005
[27] 詹尼蒂,E。;里兹,美国;巴比亚托E。;格里博多,M。;Ardagna,D.,mapreduce和Spark应用程序性能评估的流体petri网,SIGMETRICS Perform Eval Rev,44,23-36(2017年)
[28] 哈兹文克尔M(1987)数学百科全书(1)。数学百科全书:苏联“数学百科全书”的更新和注释翻译。柏林斯普林格·Zbl公司 806.00009
[29] 《混合自动机理论》,第265-292页(2000年),柏林:斯普林格,柏林·Zbl公司 959.68073
[30] 霍尔兹曼,GJ,模型检查器自旋,IEEE Trans Softw Eng,23,5,279-295(1997)
[31] Ikiz S,Garg VK(2004)Dilworth链划分的在线算法。技术报告,并行和分布式系统实验室,电气和计算机工程系,德克萨斯大学奥斯汀分校
[32] Jang K,Sherry J,Ballani H,Moncaster T(2015)Silo:云中可预测的消息延迟。2015年ACM数据通信特别兴趣小组会议记录,SIGCOMM 2015,英国伦敦,2015年8月17-21日,第435-448页
[33] Kc K,Anyanwu K(2010)调度hadoop作业以满足最后期限。在:IEEE第二届云计算技术与科学国际会议论文集。IEEE公司
[34] 克拉科拉,J。;瓦兹尼奥斯基,L。;比萨,P。;Hanzalek,Z.,实时分布式系统验证的时间自动机方法,IEEE工厂通信系统国际研讨会论文集,2004,407-410(2004)
[35] Li S,Hu S,Wang S,Su L,Abdelzaher T,Gupta I,Pace R(2014)WOHA:基于hadoop集群的期限感知地图简化工作流调度框架。在:IEEE第34届分布式计算系统国际会议论文集。IEEE公司
[36] 贝尔萨尼,MM;弗里格里,A。;莫泽蒂,A。;普拉德拉,M。;罗西,M。;San Pietro,P.,无自动机约束LTL可满足性检验,应用日志杂志,12,4,522-557(2014)·Zbl公司 1310.68141
[37] MacQueen J(1967)多元观测分类与分析的一些方法。作者:Le Cam LM,Neyman J(eds),《第五届伯克利数理统计与概率研讨会论文集》,第一卷。加州大学出版社,第281-297页·Zbl公司 214.46201
[38] 米勒,A。;唐纳尔达夫;Calder,M.,《时序逻辑模型检查中的对称性》,ACM Comput Surv,38,3,8(2006)
[39] Marconi F、Quattrocchi G、Baresi L、Bersani MM、Rossi M(2018)关于大数据应用的定时分析。在:杜特尔A,穆ñoz CA,Narkawicz A(eds)NASA正式方法-第10届国际研讨会,NFM 2018,新港新闻,弗吉尼亚州,美国,2018年4月17-19日,会议记录。计算机科学讲义,第10811卷。斯普林格,第315-332页
[40] Ousterhout K、Rasti R、Ratnasamy S、Shenker S、Chun B(2015)《数据分析框架中的性能意义》。在:第12届USENIX网络系统设计与实现会议论文集。乌塞尼克斯
[41] 佩雷斯,D。;伯纳迪S。;梅塞格,J。;乔伊,频率;卡西尔,G。;Zhu,L.,骰子模拟工具:最终版本(2017),骰子联盟:可交付成果,骰子联盟
[42] Palencia JC,Gonzalez Harbour M(1998)具有静态和动态偏移的任务可调度性分析。在:IEEE实时系统研讨会论文集,第26-37页
[43] 米兰理工大学(2019年),《佐特边界模型/满意度检验》。github.com/fm-polimi/zot
[44] 王飞,等,时间自动机与类bdd数据结构的有效验证,国际软工具技术传输,6,1,77-97(2004)
[45] 曼恩商用车公司;丁格尔,J。;Rudie,K.,实时系统开发的时间自动机调查,Comput Sci Rev,9,1-26(2013)·Zbl公司 1302.68180
[46] 亚斯米娜·阿卜杜达ïm、 是。;阿萨林E。;Maler,O.,时间自动机调度,Thero Comput Sci,354,272-300(2006)·Zbl公司 1088.68023
[47] 俞杰,陈浩,胡F(2015)SASM:通过自适应倾斜抑制改善火花性能。2015年IEEE信息与计算进展国际会议(PIC)
此参考列表基于出版商或数字数学图书馆提供的信息。它的项被试探性地匹配到zbMATH标识符,并且可能包含数据转换错误。它试图尽可能准确地反映原始论文中列出的参考文献,而不要求匹配的完整性或精确性。