×

DryadLINQ公司

swMATH ID: 23712
软件作者: Yu,Y。;Isard,M。;费特利,D.等人
描述: DryadLINQ:使用高级语言进行通用分布式数据并行计算的系统。DryadLINQ是一个系统和一组语言扩展,为大规模分布式计算提供了一种新的编程模型。它以两种方式概括了以前的执行环境,如SQL、MapReduce和Dryad:通过采用强类型的表达性数据模型。NET对象;并且通过在传统的高级编程语言中支持对数据集的通用命令式和声明式操作。DryadLINQ程序是由LINQ表达式组成的顺序程序,对数据集执行任意无副作用的转换,可以使用标准编写和调试。NET开发工具。DryadLINQ系统自动且透明地将程序的数据并行部分转换为分布式执行计划,并将其传递给Dryad执行平台。Dryad在由数千台计算机组成的生产集群上连续运行了数年,确保了该计划的高效、可靠执行。我们描述了DryadLINQ编译器和运行时的实现。我们对DryadLINQ进行了评估,评估对象是从诸如web-graph分析、大规模日志挖掘和机器学习等领域中提取的一组不同的程序。我们展示了可以获得卓越的绝对性能——在240台计算机、960个磁盘集群上,1012字节的通用数据在319秒内执行——并且展示了随着我们改变用于作业的计算机数量,在代表性应用程序上执行时间的近线性扩展
主页: https://dl.acm.org/citation.cfm?id=1855742
相关软件: MapReduce;德莱德;Hadoop公司;哈斯克尔;MongoDB数据库;大表;蜂巢;阿克卡;github;拉卡萨;烫伤;斯科比;火花;MS SQL服务器;节点Trix;达奇;ElemStatLearn(电子状态学习);标量BLAST;马霍特;亚马逊EC2
引用于: 4文件

按年份列出的引文