Apache Hadoop性能加速

使用Apache Ignite的好处

实时分析

Apache Ignite支持跨Apache Hadoop操作和历史数据筒仓进行实时分析。

低效率和高吞吐量操作

Ignite支持低延迟和高吞吐量访问，而Hadoop继续用于长时间运行的OLAP工作负载。

有三个基本步骤：

根据数据量和可用内存容量，您可以启用点燃本机持久性在专用内存时将历史数据集存储在磁盘上操作记录空间。

您可以继续将Hadoop用作存储较少使用的数据或长期运行的特殊分析查询。

您的应用程序和服务应该使用Ignite本机API来处理驻留在内存集群中的数据。Ignite为各种数据处理需求提供了SQL、计算（又名map-reduce）和机器学习API。

如果应用程序需要跨Ignite和Hadoop集群运行联合或跨数据库查询，请考虑使用Apache Spark DataFrames API。

点燃是与Spark集成，本机支持Hive/Hadoop。只有在有限的情况下才应考虑跨数据库查询Ignite和Hadoop都不包含整个数据集。

如何在Ignite和Hadoop之间拆分数据和操作？

使用Apache Ignite执行需要以下内容的任务：
–低延迟响应时间（微秒、毫秒、秒）

–高吞吐量操作（每秒数千次操作）
–实时处理

继续使用Apache Hadoop：
-高延迟操作（几十秒、分钟、小时）
-批处理

在实践中实施架构的5个步骤

下载Apache Ignite并将其安装到您的系统中。

选择点火操作列表。

最好的操作是那些需要低延迟响应时间、高吞吐量和实时分析的操作。

考虑启用Ignite本机持久性，或者将Ignite用作纯内存缓存，或者用作内存数据网格，用于持久保存对Hadoop或其他外部数据库的更改。

更新您的应用程序

确保他们使用Ignite本机API处理Ignite数据，并使用Spark进行联合查询。

如果需要在Ignite和Hadoop集群之间复制更改，请使用现有的更改数据捕获解决方案：

Debezium公司
卡夫卡

GridGain数据湖加速器
Oracle金门

要直接将更改写入Hadoop，
实施Ignite的缓存存储接口。

准备好开始了吗？

了解我们的快速入门指南并创建您的第一个
5-10分钟内使用

快速入门指南

想了解更多信息吗？

阅读Apache Spark加速文章

Apache Spark加速文章

加快现有Hadoop部署
使用Apache点火

使用Apache Ignite的好处

实时分析

低效率和高吞吐量操作

Apache点火加速如何工作？

有三个基本步骤：

如何在Ignite和Hadoop之间拆分数据和操作？

在实践中实施架构的5个步骤

加快现有Hadoop部署 使用Apache点火

使用Apache Ignite的好处

实时分析

低效率和高吞吐量操作

Apache点火加速如何工作？

有三个基本步骤：

如何在Ignite和Hadoop之间拆分数据和操作？

在实践中实施架构的5个步骤

加快现有Hadoop部署
使用Apache点火