Apache水槽|点燃文档

点燃2023年峰会-按需观看-立即注册!

编辑

阿帕奇水槽

概述

Apache Flume是一种分布式、可靠且可用的服务,用于高效收集、聚合和移动大型日志数据量。(https://github.com/apache/flume).

点火接收器是一个Flume接收器,它从关联的Flume通道提取事件并注入Ignite缓存。

点火接收器其依赖项必须包含在代理的类路径中,如以下小节所述,在启动Flume代理之前。

设置

  1. 通过实现创建转换器事件变压器接口。

  2. 创建点燃内部目录插件。d日位于的目录${FLUME_HOME}(流量_主页)。如果插件。d日目录不存在,创建它。

  3. 构建并复制到${FLUME_HOME}/plugins.d/ignite-sink/lib.

  4. 将其他与Ignite相关的jar文件从Apache Ignite发行版复制到${FLUME_HOME}/plugins.d/ignite-sink/libext按如下所示进行。

    插件.d/`--点燃|--图书馆|`--ignite-flume-transformer-x.x.jar<--your jar`--图书馆文本|--cache-api-1.0.0.jar|--点火芯-x.x.x.jar|--点火液-ext.x.x.jar<--点火墨水|--点火弹簧-x.x.x.jar|--spring-aop-4.1.0.RELEASE.jar|--弹簧-轴承-4.1.0.RELEASE.jar|--弹簧控制-4.1.0.RELEASE.jar|--spring-core-4.1.0.RELEASE.jar`--弹簧-压力-4.1.0.释放.jar
  5. 在Flume配置文件中,使用缓存属性指定Ignite配置XML文件的位置(请参见flume/src/test/resources/example-ignite.xml对于基本示例),使用为创建缓存指定的缓存名称。还要指定缓存名称(与Ignite配置文件中的名称相同)、`EventTransformer的实现类,以及,可以选择批量大小。所有属性均显示在下表中(所需属性以粗体显示)。

    属性名称 描述 默认值

    通道

    -

    类型

    组件类型名称。需要org.apache.ignite.stream.flume。点火接收器

    -

    点火Cfg

    点燃配置XML文件

    -

    缓存名称

    缓存名称。与点火Cfg中相同

    -

    事件变压器

    您对org.apache.ignite.stream.flume。事件变压器

    -

    批处理大小

    每个事务要写入的事件数

    100

名为的代理的接收器配置部分a1级可以如下所示:

a1.sinks.k1.type=org.apache.ignite.stream.flume。点火接收器a1.sinks.k1.igniteCfg=/some-path/ignite.xmla1.sinks.k1.cacheName=测试缓存a1.sinks.k1.eventTransformer=my.company。我的事件转换器a1.墨水.k1.batchSize=100

在指定了源和通道(请参阅Flume的文档)之后,就可以运行Flume代理了。