JackHare：使用MapReduce将SQL转换为NoSQL的框架

摘要

近年来，随着数据探索的快速发展，数据存储和数据处理在提取重要信息方面越来越受到重视。无论是在关系数据库系统还是新兴的NoSQL数据库中，找到一个可扩展的解决方案来处理大规模数据都是一个关键问题。由于Hadoop固有的可扩展性和容错性，MapReduce对于并行处理海量数据很有吸引力。以前的研究大多集中在使用Hadoop分布式文件系统开发SQL或类似SQL的查询转换器。然而，在这种文件系统中频繁更新数据可能很困难。因此，我们需要一个作为HBase的灵活数据存储，不仅要将数据放在扩展存储系统上，还要以透明的方式操作可变数据。然而，HBase界面对大多数用户来说不够友好。由SQL客户端应用程序和到HBase的数据库连接组成的GUI将简化学习过程。本文提出了带有SQL查询编译器、JDBC驱动程序的JackHare框架，以及使用MapReduce框架处理HBase中非结构化数据的系统方法。将JDBC驱动程序导入SQL客户端GUI后，我们可以利用HBase作为底层数据存储来执行ANSI-SQL查询。实验结果表明，我们的方法具有良好的效率和可扩展性。