SciHive公司 swMATH ID: 17473 软件作者： Y.Geng、X.Huang、M.Zhu、H.Ruan、G.Yang 描述： SciHive：使用hiveQL进行基于数组的查询处理。数据密集型的科学发现正在以惊人的速度产生大量数据。大多数数据都是多维的，并以基于阵列的文件格式存储。处理如此大的数据成为一项紧迫的挑战。在本文中，我们介绍了SciHive，一个可扩展且易于使用的基于阵列的查询系统。SciHive使科学家能够使用类似SQL的查询语言并行处理原始数组数据集。我们将SciHive实现为Hive的扩展，Hive是Hadoop上的数据仓库系统。SciHive将NetCDF文件中的数组映射到一个表，并通过MapReduce执行查询。根据需要动态加载文件。所以SciHive不需要任何额外的预加载或格式转换过程。此外，SciHive还包括两种优化方法来减少生成的行。对代表性数据集的不同查询的实验表明，优化在大多数情况下都非常有效，SciHive可以扩展以处理大型数据集。 主页： http://ieeexplore.ieee.org/document/6680928/ 相关软件： 火花;SciMATE公司;格雷克斯;维斯帕克;Hadoop公司;MapReduce 引用于： 1文件 3位作者引用 1 Choi、Woohyuk 1 苏明洪 1 郑元基 连载1篇 1 SIAM科学计算杂志 在2个字段中引用 1 数值分析（65-XX） 1 计算机科学（68至XX） 按年份列出的引文