火花

Spark:带有工作集的集群计算。MapReduce及其变体在商品集群上实现大规模的数据密集型应用程序方面非常成功。然而,这些系统大多是围绕着一个非循环的数据流模型构建的,而这种模型并不适用于其他流行的应用程序。本文主要讨论这样一类应用程序:跨多个并行操作重用一个工作数据集的应用程序。这包括许多迭代机器学习算法,以及交互式数据分析工具。我们提出了一种新的支持Spark的可伸缩性和容错性框架。为了实现这些目标,Spark引入了一种称为弹性分布式数据集(RDDs)的抽象。RDD是一组对象的只读集合,这些对象在一组计算机上分区,如果分区丢失,可以重建这些对象。Spark在迭代机器学习作业方面的性能比Hadoop高出10倍,并可用于交互式查询39gb的数据集,响应时间低于秒。


zbMATH参考文献(参考 31篇文章

显示第1到第20个结果,共31个。
按年份排序(引用)
  1. David B.Dahl:使用rscala集成R和Scala(2020)不是zbMATH
  2. Fotakis,Dimitris;Milis,Ioannis;Papadigenopoulos,Orestis;Vassalos,Vasilis;Zois,Georgios:在相同和不相关的处理器上调度MapReduce作业(2020年)
  3. Montealegre,P.;Perez Salazar,S.;Rapaport,I.;Todinca,I.:拥挤集团中的图重建(2020)
  4. 唐璐;周玲;宋彼得X.-K:基于置信分布的广义线性模型的分布式同时推理(2020)
  5. 塞萨尔桑切斯;施耐德,杰拉多;阿伦特,沃尔夫冈;巴托奇,埃齐奥;比安库利,多梅尼科;科伦坡,克里斯蒂安;法尔科内,伊莱;弗朗卡兰扎,阿德里安;克尔斯蒂奇,斯里安;卢伦索,若昂;尼科维奇,德扬;佩斯,戈登J;鲁菲诺,何塞;西诺尔,朱利安;特劳特尔,德米特里;韦斯,Alexander:来自高级应用领域(超越软件)的运行时验证挑战调查(2019)
  6. Terenin,Alexander;Dong,Shawfeng;Draper,David:GPU加速吉布斯抽样:马蹄形probit模型的案例研究(2019年)
  7. Tsamardinos,Ioannis;Borboudakis,Giorgos;Katsogridakis,Pavlos;Pratikakis,Polyvios;Christophides,Vassilis:高维大数据的贪婪特征选择算法(2019年)
  8. Yu,Hong;Chen,Yun;Lingras,Pawan;Wang,Guoyin:大规模数据的三向聚类集成方法(2019)
  9. Condie,Tyson;Das,Ariyam;Interlandi,Matteo;Shkapsky,Alexander;Yang,Mohan;Zaniolo,Carlo:扩大bigdata的推理和高级分析(2018)
  10. 基于Philier Muller基金会、Miller Lineager和2018年分布式计算模型
  11. Karim,Md.Rezaul;Cochez,Michael;Beyan,Oya Deniz;Ahmed,Chowdhury Farhan;Decker,Stefan:在事务数据库和动态数据流中挖掘最大频繁模式:基于火花的方法(2018)
  12. Jonathan Law;Wilkinson,Darren J.:流数据在线贝叶斯分析的可组合模型(2018)
  13. Nghiem,Peter P.:spark高效资源供应的最佳权衡点方法(2018)
  14. Pelucchi,Mauro;Psaila,Giuseppe;Toccu,Maurizio:Hadoop vs.Spark:对开放数据语料库Hammer查询引擎性能的影响(2018)
  15. Wang,Shusen;Gittens,Alex;Mahoney,Michael W.:草图岭回归:优化视角、统计视角和模型平均(2018)
  16. Zheng,Wenjie;Bellet,Aurélien;Gallinari,Patrick:基于迹范数学习低秩矩阵的分布式Frank-Wolfe框架(2018)
  17. Brandt,Jörgen;Reisig,Wolfgang;Leser,Ulf:功能科学工作流语言楔形文字的计算语义(2017)
  18. Coelho,L.P.:Jug:Python中并行可复制计算软件(2017)不是zbMATH
  19. Ferraro Petrillo,Umberto;Guerra,Concettina;Pizzi,Cinzia:一种新的分布式无对齐方法来比较整个蛋白质组(2017年)
  20. García,José;Pope,Christopher;Altimiras,Francisco:a distributed(K)-means分割算法应用于\textitLobesiabotrana识别(2017)