卡夫卡监控集成

新遗迹卡夫卡主机上集成报告来自Kafka服务的度量和配置数据。我们为集群的所有关键元素提供工具，包括代理（ZooKeeper和Bootstrap）、生产者、消费者和主题。

通过与New Relic的无缝数据集成，深入了解卡夫卡的性能。在我们强大的平台内，轻松监控集群、生产者、消费者和主题的关键指标。创建警报以保持在峰值之前，为定制视图构建自定义仪表盘，并主动优化您的卡夫卡监控。

配置设置

以下collapser包含所有可用的配置设置：

配置KafkaBrokerSample和KafkaTopicSample采集

Kafka集成收集度量和库存信息。检查应用于列以查看每个集合的可用设置：

设置	描述	违约	应用于
群集名称	用户定义的名称，用于唯一标识要监视的集群。要求的。	不适用	M/I公司
KAFKA_版本	您连接到的Kafka代理的版本，用于设置最佳API版本。它必须匹配或低于代理的版本。 1.0.0以前的版本可能缺少某些功能。注意，如果代理二进制名称是kafka_2.12-2.7.0，那么要使用的Kafkaapi版本是2.7.0，前面的2.12是Scala语言版本。	1.0.0	M/I公司
自动ISCOVER_STRATEGY	发现经纪人的方法。选项包括`动物园管理员`或`引导数据库`。	动物园管理员	M/I公司
韵律学	设置为`真实的`以启用仅度量收集。	假
库存	设置为`真实的`以启用仅库存收集。	假

Zookeeper自动发现参数

只有当自动发现策略选项设置为动物园管理员。

设置	描述	违约	应用于
缩放器_主机	需要连接的Apache ZooKeeper主机的列表（JSON格式）。如果`消费者_补偿`设置为`假` `卡夫卡经纪人样本`和`KafkaTopicSamples公司`将被收集。	[]	M/I公司
缩放器_AUTH_SCHEME	用于连接的ZooKeeper身份验证方案。目前唯一支持的值为`消化`。如果省略，则不使用身份验证。	不适用	米/我
缩放器_自动_保密	用于连接的ZooKeeper身份验证密钥。应该属于表格`用户名：密码`。只有在以下情况下才需要`动物园管理员验证方案`是明确规定。	不适用	M/I公司
缩放PER_PATH	Kafka配置所在的Zookeeper节点。默认为`/`。	不适用	M/I公司
首选列表	使用特定的侦听器连接到代理。如果未设置，则第一个侦听器使用通过成功测试连接的。支持的值为`PLAINTEXT公司`,`SASL_PLAINTEXT公司`,`SSL协议`、和`SASL_SSL公司`注意：`SASL公司_*`协议仅支持Kerberos（GSSAPI）身份验证。	不适用	M/I公司

引导代理发现参数

只有当自动发现策略选项设置为引导数据库。

设置	描述	违约	应用于
启动TRAP_BROKER_HOST	引导代理的主机。如果`消费者_补偿`设置为`假` `KafkaBrokers示例`和`KafkaTopicSamples公司`将被收集。	不适用	M/I公司
BOOTSTRAP_经纪人_KAFKA_PORT	引导代理的Kafka端口。	不适用	M/I公司
BOOTSTRAP_经纪人_KAFKA_PROTOCOL	用于连接到引导代理的协议。支持的值为`PLAINTEXT公司`,`SASL_PLAINTEXT公司`,`SSL协议`、和`SASL_SSL公司`。 *请注意`萨斯尔_`协议仅支持Kerberos（GSSAPI）身份验证。**	PLAINTEXT公司	米/我
BOOTSTRAP_BROKER_JMX_PORT（引导_制动器_JMX_端口）	集群中每个代理上用于收集的JMX端口。请注意，所有发现的代理都应该在此端口上激活JMX	不适用	M/I公司
启动TRAP_BROKER_JMX_USER	用于收集集群中每个代理的JMX用户。	不适用	M/I公司
引导TRAP_BROKER_JMX_PASSWORD	集群中每个代理上用于收集的JMX密码。	不适用	M/I公司

JMX选项

这些选项适用于实例上的所有JMX连接。

设置	描述	违约	应用于
钥匙_存储	包含JMX客户端SSL证书的密钥库的文件路径。	不适用	M/I公司
密钥_存储_密码	JMX SSL密钥存储的密码。	不适用	M/I公司
信托_存储	包含JMX服务器SSL的信任密钥库的文件路径证书。	不适用	M/I公司
信托_存储_密码	JMX信任存储的密码。	不适用	M/I公司
默认_JMX_USER	连接到JMX主机以收集指标的默认用户。如果JMX主机省略了username字段，将使用此值。	管理员	M/I公司
默认值_JMX_PASSWORD	连接到JMX主机的默认密码。如果密码字段为对于JMX主机省略，将使用此值。	管理员	M/I公司
超时	单个JMX查询的超时时间（毫秒）。	10000	米/我

Broker TLS连接选项

如果代理协议是SSL协议或SASL_SSL公司。

设置	描述	违约	应用于
TLS_CA文件	SSL和SASL_SSL侦听器的证书颁发机构文件，采用PEM格式。	不适用	M/I公司
TLS_CERT文件	SSL和SASL_SSL侦听器的客户端证书文件，采用PEM格式。	不适用	M/I公司
TLS密钥文件	SSL和SASL_SSL侦听器的客户端密钥文件，采用PEM格式。	不适用	M/I公司
TLS_INSECURE_SKIP_验证	跳过验证服务器的证书链和主机名。	假	M/I公司

Broker SASL和Kerberos连接选项

如果代理协议是SASL_PLAINTEXT公司或SASL_SSL公司。

设置	描述	违约	应用于
SASL_机械	要使用的SASL身份验证类型。支持的选项包括`刮板-SHA-512`,`刮板-SHA-256`,`平原`、和`GSSAPI公司`。	不适用	M/I公司
SASL_用户名	PLAIN和SCRAM机制需要SASL用户名。	不适用	M/I公司
SASL_密码	PLAIN和SCRAM机制所需的SASL密码。	不适用	M/I公司
SASL_GSSAPI_REALM公司	GSSAPI机制需要Kerberos域。	不适用	M/I公司
SASL_GSSAPI_SERVICE_NAME公司	GSSAPI机制需要Kerberos服务名称。	不适用	M/I公司
SASL_GSSAPI_USERNAME公司	GSSAPI机制需要Kerberos用户名。	不适用	M/I公司
SASL_gsapi_KEY_TAB_PATH（SASL_gsapi_KEY_TAB_PATH）	GSSAPI机制需要Kerberos密钥选项卡路径。	不适用	M/I公司
SASL_GSSAPI_KERBEROS_CONFIG_PATH公司	GSSAPI机制需要Kerberos配置路径。	/等/krb5.conf	M/I公司
SASL_GSSAPI_DISABLE_FAST_NEGOTITION公司	禁用FAST协商。	假	M/I公司

Broker Collection筛选

设置	描述	违约	应用于
本地_唯一_选择	仅收集与配置的引导代理相关的度量。仅在以下情况下使用`自动发现策略`是`引导数据库`。您必须将使用发现的环境（如Kubernetes）设置为true，否则它将发现代理两次：请注意，激活此标志将跳过KafkaTopicSample采集	假	M/I公司
主题_模式	确定我们收集的主题数量。选项包括`全部的`,`没有人`,`列表`，或`正则表达式`。	没有人	M/I公司
主题_列表	要监视的主题名称的JSON数组。仅在以下情况下有效`主题模式`已设置到`列表`。	[]	M/I公司
主题正则表达式	匹配要监视的主题名称的Regex模式。仅在以下情况下有效`主题模式`设置为`正则表达式`。	不适用	M/I公司
主题_铲斗	用于跨多个实例拆分主题集合。应使用表格`<桶数>/<桶数>`。	1/1	米/我
集合_TOPIC_SIZE	收集度量主题大小。选项包括`真实的`或`假`，默认为`假`。这是一个需要收集的资源密集型指标，尤其是针对许多主题。	假	M/I公司
集合_TOPIC_OFFSET	收集公制主题偏移量。选项包括`真实的`或`假`，默认为`假`。这是一个需要收集的资源密集型指标，尤其是针对许多主题。	假	M/I公司

配置KafkaConsumerSample和KafkaProducerSample采集

Kafka集成收集了两个指标(M（M）)和库存(我)信息。检查应用于列以查找可用于每个特定集合的设置：

设置	描述	违约	应用于
群集名称	用户定义的名称，用于唯一标识要监视的集群。要求的。	不适用	M/I公司
制片人	制作人收集。您可以指定`名称`,`主机名`,`港口`,`用户名`、和`密码`对于每个使用JSON的生产者。`名称`是卡夫卡中出现的制作人的名字。如果没有设置`主机：端口`将被收集。`主办`,`港口`,`用户名`、和`密码`是可选的JMX设置，如果未指定，则使用默认设置。也可以设置值`违约`让`名称`未定义并使用默认值`主办`,`港口`,`用户名`和`密码`。需要生产KafkaProducer样本。示例： `[{“host”：“localhost”，“port”：24，“username”：“me”，“password”：“secret”}]` `[{“名称”：“myProducer”，“主机”：“本地主机”，“端口”：24，“用户名”：“我”，“密码”：“机密”}]`	[]	M/I公司
消费者	消费者收集。您可以指定`名称`,`主机名`,`港口`,`用户名`、和`密码`JSON格式。`名称`是卡夫卡中出现的消费者的名字。如果未设置`主机：端口`将被收集。`主办`,`港口`,`用户名`、和`密码`是可选的JMX设置，如果未指定，则使用默认设置。也可以设置值`违约`让`名称`未定义并使用默认值`主办`,`港口`,`用户名`和`密码`。需要生产KafkaConsumerSample。示例： `[{“host”：“localhost”，“port”：24，“username”：“me”，“password”：“secret”}]` `[{“名称”：“myConsumer”，“主机”：“本地主机”，“端口”：24，“用户名”：“我”，“密码”：“机密”}]`	[]	M/I公司
默认值_JMX_HOST	用于收集JMX指标的默认主机。如果从生产者或消费者配置时，将使用此值。	本地服务器	M/I公司
默认值_JMX_PORT	用于收集JMX指标的默认端口。如果从生产者或消费者配置时，将使用此值。	9999	M/I公司
默认值_JMX_USER	连接到JMX主机以收集指标的默认用户。如果在生产者或消费者配置中省略用户名字段，将使用此值。	管理员	M/I公司
默认值_JMX_PASSWORD	连接到JMX主机的默认密码。如果在生产者或消费者配置中省略密码字段，则将使用此值。	管理员	米/我
韵律学	设置为`真实的`以启用仅度量收集。	假
库存	设置为`真实的`以启用仅库存收集。	假

JMX SSL和超时选项

这些选项适用于实例上的所有JMX连接：

设置	描述	违约	应用于
钥匙_存储	包含JMX客户端SSL证书的密钥库的文件路径。	不适用	M/I公司
关键字存储密码	JMX SSL密钥存储的密码。	不适用	米/我
信托_存储	包含JMX服务器SSL的信任密钥库的文件路径证书。	不适用	M/I公司
信托_存储_密码	JMX信任存储的密码。	不适用	M/I公司
超时	单个JMX查询的超时时间（毫秒）。	10000	M/I公司

配置KafkaOffsetSample采集

Kafka集成收集度量和库存信息。检查应用于列以查找可用于每个特定集合的设置：

设置	描述	违约	应用于
群集名称	用户定义的名称，用于唯一标识要监视的集群。要求的。	不适用	M/I公司
KAFKA_版本	您连接到的Kafka代理的版本，用于设置最佳API版本。它必须与代理的版本匹配或低于代理的版本。 1.0.0以前的版本可能缺少某些功能。注意，如果代理二进制名称是kafka_2.12-2.7.0，那么要使用的Kafkaapi版本是2.7.0，前面的2.12是Scala语言版本。	1.0.0	M/I公司
自动ISCOVER_STRATEGY	发现经纪人的方法。选项包括`动物园管理员`或`引导数据库`。	动物园管理员	M/I公司
消费者_补偿	如果设置为true，则在KafkaOffsetSample中填充消费者补偿数据。请注意，此选项将跳过Broker/Consumer/Producer收集，仅收集KafkaOffsetSample	假	M/I公司
消费者_集团_ EGEX	Regex模式，用于匹配要为其收集偏移统计信息的消费者组。这仅限于收集300个消费群体的统计数据。注意：当CONSUMER_OFFSET为true时，必须设置此选项。	不适用	M/I公司
无效的消费者群体偏移	从没有任何活动使用者的使用者组收集偏移度量，它需要将consumer_offset设置为true。	假	M/I公司
消费者组偏移量	按主题激活consumerGroup的额外度量聚合。它要求将CONSUMER_OFFSET设置为true。	不适用	M/I公司
韵律学	设置为`真实的`以启用仅度量收集。	假
库存	设置为`真实的`以启用仅库存收集。	假

Zookeeper自动发现参数

只有当自动发现策略选项设置为动物园管理员。

设置	描述	违约	应用于
缩放器_主机	需要连接的Apache ZooKeeper主机列表（JSON格式）。如果`消费者_补偿`设置为`假` `卡夫卡经纪人样本`和`KafkaTopicSamples公司`将被收集。	[]	M/I公司
缩放器_AUTH_SCHEME	用于连接的ZooKeeper身份验证方案。目前唯一支持的值是`消化`。如果省略，则不使用身份验证。	不适用	M/I公司
动物园管理员身份验证	用于连接的ZooKeeper身份验证密钥。应该属于表格`用户名：密码`。只有在以下情况下才需要`动物园管理员验证方案`是明确规定。	不适用	M/I公司
缩放PER_PATH	Kafka配置所在的Zookeeper节点。默认为`/`。	不适用	米/我
首选列表	使用特定的侦听器连接到代理。如果未设置，则第一个侦听器使用通过成功测试连接的。它支持值`PLAINTEXT公司`,`SASL_PLAINTEXT公司`,`SSL协议`、和`SASL_SSL公司`注意：`SASL公司_*`协议仅支持Kerberos（GSSAPI）身份验证。	不适用	M/I公司

引导代理发现参数

只有当自动发现策略选项设置为引导数据库。

设置	描述	违约	应用于
启动TRAP_BROKER_HOST	引导代理的主机。如果`消费者_补偿`设置为`假` `卡夫卡经纪人样本`和`KafkaTopicSamples公司`将被收集。	不适用	M/I公司
BOOTSTRAP_经纪人_KAFKA_PORT	引导代理的Kafka端口。	不适用	M/I公司
BOOTSTRAP_经纪人_KAFKA_PROTOCOL	用于连接到引导代理的协议。支持的值为`PLAINTEXT公司`,`SASL_PLAINTEXT公司`,`SSL协议`、和`SASL_SSL公司`。 *请注意`SASL公司_`协议仅支持Kerberos（GSSAPI）身份验证。**	PLAINTEXT公司	米/我
BOOTSTRAP_BROKER_JMX_PORT（引导_制动器_JMX_端口）	集群中每个代理上用于收集的JMX端口。请注意，所有发现的代理都应该在此端口上激活JMX	不适用	M/I公司
启动TRAP_BROKER_JMX_USER	用于收集集群中每个代理的JMX用户。	不适用	M/I公司
引导TRAP_BROKER_JMX_PASSWORD	集群中每个代理上用于收集的JMX密码。	不适用	M/I公司

JMX SSL和超时选项

这些应用于实例上的所有JMX连接。

设置	描述	违约	应用于
钥匙_存储	包含JMX客户端SSL证书的密钥库的文件路径。	不适用	M/I公司
密钥_存储_密码	JMX SSL密钥存储的密码。	不适用	M/I公司
信托_存储	包含JMX服务器SSL的信任密钥库的文件路径证书。	不适用	M/I公司
信托_存储_密码	JMX信任存储的密码。	不适用	M/I公司
默认值_JMX_USER	连接到JMX主机以收集指标的默认用户。如果JMX主机省略了username字段，将使用此值。	管理员	M/I公司
默认值_JMX_PASSWORD	连接到JMX主机的默认密码。如果密码字段为对于JMX主机省略，将使用此值。	管理员	M/I公司
超时	单个JMX查询的超时时间（毫秒）。	10000	米/我

故障排除

Kafka集成使用一个名为nrjmx公司从经纪人、消费者和生产者处检索JMX指标。需要在群集中的所有代理上启用和配置JMX。此外，需要对防火墙进行调整，以允许通过JMX端口从运行集成的主机连接到代理。

要检查JMX是否正确配置，请从运行Kafka集成的机器上为每个代理运行以下命令。更换港口,用户名、和密码具有代理相应JMX设置的变量：

猛击

$回声 "*:*" |nrjmx公司-主机名MY_主机名-端口MY_PORT公司-v（v） -用户名我的用户名-密码我的密码

该命令应生成输出，显示一系列没有任何错误的指标。

集成可能会显示如下错误：

猛击

$KRB错误：(6)找不到KDC_ERR_C_PRINCIPAL_UNKNOWN客户端在里面Kerberos数据库

使用kinit命令检查keytab。将突出显示的字段替换为您的值：

猛击

$$kinit美元-k个 -t吨KEY_TAB_PATH用户名

如果用户名/keytab组合正确，则上述命令应完成，而不会打印任何错误。

使用klist命令检查领域：

猛击

$$klist（美元）|格雷普 “默认主体：”

您应该看到这样的内容：

猛击

$默认主体：约翰多@a_realm_name

检查打印的用户名和领域是否与sasl_gssapi_realm软件和sasl_gsapi_user用户名集成配置中的参数。

kafka-config.yml示例文件

此配置收集韵律学和库存包括从两个不同的JMX主机发现代理的所有主题：

集成:
  - 名称:国家研究所-卡夫卡
    环境价值:
      群集名称:测试集群1
      KAFKA_版本: "1.0.0"
      自动ISCOVER_STRATEGY:动物园管理员
      缩放器_主机: '[{“host”：“localhost”，“port”：2181}，{“主机”：“本地主机2”，“端口”：2181}]'
      缩放PER_PATH: “/kafka-root”
      默认值_JMX_USER:用户名
      默认值_JMX_PASSWORD:密码
      主题_模式:全部的
    间隔:15秒
    标签:
      环境价值:生产
      角色:卡夫卡
    库存_来源:配置/kafka

此配置收集使用SSL从JMX主机发现代理的度量和库存：

集成:
  - 名称:国家研究所-卡夫卡
    环境价值:
      集群名称:测试集群1
      KAFKA_版本: "1.0.0"
      自动ISCOVER_STRATEGY:动物园管理员
      缩放器_主机: '[{“主机”：“本地主机”，“端口”：2181}]'
      缩放PER_PATH: “/kafka-root”
      默认_JMX_USER:用户名
      默认值_JMX_PASSWORD:密码

      密钥存储: “/path/to/your/keystore”
      密钥_存储_密码:密钥库密码
      信托_存储: “/path/to/your/truststore”
      信托_存储_密码:信任存储密码

      超时: 10000  #单个JMX查询的超时时间（毫秒）。
    间隔:15秒
    标签:
      环境价值:生产
      角色:卡夫卡
    库存_来源:配置/kafka

此配置收集度量和库存，包括从一个引导代理发现代理的所有主题：

集成:
  - 名称:国家研究所-卡夫卡
    环境价值:
      群集名称:测试集群1
      自动ISCOVER_STRATEGY:引导数据库
      启动TRAP_BROKER_HOST:本地服务器
      BOOTSTRAP_经纪人_KAFKA_PORT: 9092
      BOOTSTRAP_经纪人_KAFKA_PROTOCOL:PLAINTEXT公司
      BOOTSTRAP_BROKER_JMX_PORT（引导_制动器_JMX_端口）: 9999  #该端口将用于连接到所有发现代理JMX
      启动TRAP_BROKER_JMX_USER:管理员
      引导TRAP_BROKER_JMX_PASSWORD:密码

      本地唯一集合: 假

      集合_代理_TOPIC_DATA: 真实的
      主题_模式: “全部”
      集合_TOPIC_SIZE: 假
    间隔:15秒
    标签:
      环境价值:生产
      角色:卡夫卡
    库存_来源:配置/kafka

此配置仅收集从一个使用TLS协议侦听的引导代理发现代理的度量：

积分:
  - 名称:国家研究所-卡夫卡
    环境价值:
      韵律学: 真实的
      集群名称:测试集群1
      自动ISCOVER_STRATEGY:引导数据库
      启动TRAP_BROKER_HOST:本地服务器
      BOOTSTRAP_经纪人_KAFKA_PORT: 9092
      BOOTSTRAP_经纪人_KAFKA_PROTOCOL:SSL协议
      BOOTSTRAP_BROKER_JMX_PORT（引导_制动器_JMX_端口）: 9999
      启动TRAP_BROKER_JMX_USER:管理员
      引导TRAP_BROKER_JMX_PASSWORD:密码

      #Kerberos身份验证参数
      TLS_CA文件: “/path/to/CA.pem”
      TLS_CERT文件: “/path/to/cert.pem”
      TLS密钥文件: “/path/to/key.pem”
      TLS_INSECURE_SKIP_验证: 假
    间隔:15秒
    标签:
      环境价值:生产
      角色:卡夫卡
    库存_来源:配置/kafka

此配置仅收集从Kerberos身份验证群集中的一个引导代理发现代理的度量：

集成:
  - 名称:国家研究所-卡夫卡
    环境价值:
      韵律学: 真实的
      群集名称:测试集群1
      自动ISCOVER_STRATEGY:引导数据库
      引导程序BROKER_HOST:本地服务器
      BOOTSTRAP_经纪人_KAFKA_PORT: 9092
      BOOTSTRAP_经纪人_KAFKA_PROTOCOL:PLAINTEXT公司#目前支持PLAINTEXT和SSL
      BOOTSTRAP_BROKER_JMX_PORT（引导_制动器_JMX_端口）: 9999
      启动TRAP_BROKER_JMX_USER:管理员
      引导TRAP_BROKER_JMX_PASSWORD:密码

      #Kerberos身份验证参数
      SASL_机械:GSSAPI公司
      SASL_GSSAPI_REALM语言:SOMECORP公司。组件对象模型
      SASL_gsapi_SERVICE_NAME（SASL_gsapi_SERVICE_NAME）:卡夫卡
      SASL_GSSAPI_USERNAME公司:卡夫卡
      SASL_GSSAPI_KEY_TAB_PATH:/etc/newrelic等-infra/kafka.按键
      SASL_GSSAPI_KERBEROS_CONFIG_PATH公司:/等/krb5.conf
      SASL_GSSAPI_DISABLE_FAST_NEGOTITION公司: 假
    间隔:15秒
    标签:
      环境价值:生产
      角色:卡夫卡
    库存_来源:配置/kafka

此配置收集在3个不同实例之间拆分主题集合的度量：

集成:
  - 名称:国家研究所-卡夫卡
    环境价值:
      韵律学: 真实的
      群集名称:测试集群1
      KAFKA_版本: "1.0.0"
      自动ISCOVER_STRATEGY:动物园管理员
      缩放器_主机: '[{“主机”：“主机1”，“端口”：2181}]'
      缩放器_自动_保密: “用户名：密码”
      缩放PER_PATH: “/kafka-root”
      默认值_JMX_USER:用户名
      默认值_JMX_PASSWORD:密码
      主题模式:正则表达式
      主题_ REGEX: '主题\d+'
      主题_铲斗: '1/3'
    间隔:15秒
    标签:
      环境价值:生产
      角色:卡夫卡
    库存_来源:配置/kafka
  - 名称:国家研究所-卡夫卡
    环境价值:
      韵律学: 真实的
      集群名称:测试集群2
      卡夫卡版本: "1.0.0"
      自动ISCOVER_STRATEGY:动物园管理员
      缩放器_主机: '[{“主机”：“主机2”，“端口”：2181}]'
      缩放器_自动_保密: “用户名：密码”
      缩放PER_PATH: “/kafka-root”
      默认值_JMX_USER:用户名
      默认值_JMX_PASSWORD:密码
      主题_模式:正则表达式
      主题_ REGEX: '主题\d+'
      主题_铲斗: '2/3'
    间隔:15秒
    标签:
      环境价值:生产
      角色:卡夫卡
    库存_来源:配置/kafka
  - 名称:国家研究所-卡夫卡
    环境价值:
      韵律学: 真实的
      群集名称:测试集群3
      KAFKA_版本: "1.0.0"
      自动ISCOVER_STRATEGY:动物园管理员
      缩放器_主机: '[{“主机”：“主机3”，“端口”：2181}]'
      动物园管理员身份验证: “用户名：密码”
      缩放PER_PATH: “/kafka-root”
      默认值_JMX_USER:用户名
      默认值_JMX_PASSWORD:密码
      主题_模式:正则表达式
      主题_ REGEX: '主题\d+'
      主题_桶: '3/3'
    间隔:15秒
    标签:
      环境价值:生产
      角色:卡夫卡
    库存_来源:配置/kafka

这给出了一个从Java消费者和生产者收集JMX指标的示例：

集成:
  - 名称:国家研究所-卡夫卡
    环境价值:
      韵律学: “正确”
      群集名称: “测试集群3”
      制片人: '[{“host”：“localhost”，“port”：24，“username”：“me”，“password”：“secret”}]'
      消费者: '[{“host”：“localhost”，“port”：24，“username”：“me”，“password”：“secret”}]'
      默认值_JMX_HOST: “本地主机”
      默认值_JMX_PORT: "9999"
    间隔:15秒
    标签:
      环境价值:生产
      角色:卡夫卡
    库存_来源:配置/kafka

此配置收集集群的消费者补偿指标和库存：

集成:
  - 名称:国家研究所-卡夫卡
    环境价值:
      消费者_补偿: 真实的
      群集名称:测试集群3
      自动ISCOVER_STRATEGY:引导数据库
      引导程序BROKER_HOST:本地服务器
      BOOTSTRAP_经纪人_KAFKA_PORT: 9092
      BOOTSTRAP_经纪人_KAFKA_PROTOCOL:PLAINTEXT公司
      #一个正则表达式模式，用于匹配要从中收集度量的消费者组
      消费者_集团_ EGEX: '.*'
    间隔:15秒
    标签:
      环境价值:生产
      角色:卡夫卡
    库存_来源:配置/kafka

集成收集的指标

卡夫卡集成收集了以下指标。每个度量名称都以类别指示符和句点为前缀，例如经纪人。或消费者。。

公制	描述
`经纪人.bytesWrittenToTopicPerSecond`	代理每秒写入主题的字节数。
`经纪人。每秒IO`	将IO网络传输到群集中的代理，以每秒字节为单位。
`经纪人。每秒IO输出`	群集中代理的网络IO（每秒字节数）。
`broker.logFlushPerSecond（每秒钟刷新一次）`	日志刷新率。
`每秒中的代理消息`	每秒传入消息数。
`follower.requestExpirationPerSecond（每秒过期一次）`	每秒逐出中关注者的请求过期率。
`每秒拒绝的网络字节数`	每秒拒绝的字节数。
`复制.isr每秒扩展`	加入ISR池的副本的速率。
`复制.isrShrinksPerSecond`	复制副本离开ISR池的速率。
`复制.读取器每秒选择`	领导人选举率。
`复制.uncleanLeaderElectionPerSecond`	领导人选举率不清。
`复制.未复制分区`	未复制的分区数。
`请求avgTimeFetch`	每个提取请求的平均时间（毫秒）。
`request.avg时间元数据`	元数据请求的平均时间（毫秒）。
`请求avg时间元数据99%`	第99个百分位的元数据请求时间（毫秒）。
`request.avg时间偏移`	偏移请求的平均时间（毫秒）。
`request.avg时间偏移99百分比`	第99个百分位的偏移请求时间（毫秒）。
`request.avg时间生成请求`	生成请求的平均时间（毫秒）。
`request.avg时间更新元数据`	请求更新元数据的平均时间（毫秒）。
`请求avg更新元数据99%`	第99个百分位的更新元数据请求的时间（毫秒）。
`每秒请求客户端获取失败`	每秒客户端提取请求失败。
`请求.fetchTime99Percentile`	第99个百分位的提取请求的时间（毫秒）。
`请求句柄空闲`	请求处理程序线程空闲的平均时间分数。
`请求.生产请求每秒失败`	每秒生成请求失败。
`请求.生产时间99%`	第99个百分位的生产请求时间。
`主题.diskSize`	每个代理和每个主题的主题磁盘大小。仅在以下情况下存在`集合_TOPIC_SIZE`已启用。
`主题偏移量`	每个代理和每个主题的主题偏移量。仅在以下情况下存在`集合_TOPIC_OFFSET`已启用。

公制	描述
`consumer.aavgFetchSizeInBytes（消费者平均获取大小inBytes）`	针对特定主题的每个请求获取的平均字节数。
`consumer.avgRecordConsumedPerTopic`	特定主题的每个请求中的平均记录数。
`consumer.avg记录每TopicPerSecond的消耗`	特定主题每秒消耗的平均记录数（以记录数计）。
`每秒用户字节数`	每秒用户字节数。
`使用者.fetchPerSecond`	使用者每秒向中断请求发送获取请求的最低速率。
`consumer.maxFetchSizeInBytes`	针对特定主题的每个请求提取的最大字节数。
`消费者.maxLag`	最大用户延迟。
`consumer.message每秒消耗量`	每秒使用使用者消息的速率（以消息为单位）。
`用户.offsetKafkaCommitsPerSecond`	每秒提交到Kafka的偏移量的速率。
`使用者.offsetZooKeeperCommitsPerSecond`	每秒写入ZooKeeper的偏移量提交速率。
`用户请求每秒过期`	每秒延迟的使用者请求过期的速率（以收回为单位）。

公制	描述
`producer.age以毫秒为单位使用的元数据`	正在使用的当前生成程序元数据的存在时间（秒）。
`producer.available缓冲区InBytes`	未使用的缓冲区内存总量（字节）。
`producer.avgBytesSentPerRequestInBytes`	每次请求每个分区发送的平均字节数。
`producer.avg压缩率记录批次`	记录批次的平均压缩率。
`producer.avg记录累加器（毫秒）`	记录累加器中花费的平均时间（毫秒）记录批处理。
`producer.avg记录大小输入字节`	平均记录大小（字节）。
`producer.avg每秒记录数`	平均每秒发送的记录数。
`producer.avgRecordsSentPerTopicPerSecond每秒钟`	一个主题每秒发送的平均记录数。
`生产商。每秒平均请求延迟`	生产者平均请求延迟。
`producer.avg节流时间`	代理阻止请求的平均时间（毫秒）。
`producer.buffer内存可用字节数`	客户端可以使用的最大缓冲区内存量（字节）。
`producer.bufferpoolWaitTime（生产商缓冲池等待时间）`	追加器等待空间分配的时间因素。
`每秒输出的生产者字节数`	每秒输出的生产者字节数。
`生产商压缩率记录批次`	主题记录批的平均压缩率。
`producer.iO等待时间`	生产者I/O等待时间（毫秒）。
`producer.maxBytesSentPerRequestInBytes`	每次请求每个分区发送的最大字节数。
`producer.maxRecordSizeInBytes（生产器最大记录大小输入字节）`	以字节为单位的最大记录大小。
`producer.maxRequestLatency毫秒`	最大请求延迟（毫秒）。
`producer.max节流时间`	代理阻止请求的最长时间（毫秒）。
`producer.message每秒费率`	每秒生成消息数。
`每秒钟生产者响应`	每秒生成程序响应数。
`每秒producer.requestPer`	每秒的生产者请求数。
`producer.requests等待响应`	当前等待响应的飞行中请求数。
`producer.threads等待`	等待缓冲区内存将其记录排队时被阻止的用户线程数。

公制	描述
`主题.没有首选标题的分区`	每个主题不由其首选副本引导的分区数。
`主题.响应元数据`	响应元数据请求的主题数。
`主题保留大小或时间`	分区是按大小还是同时按大小和时间保留。值0=时间，值1=大小和时间。
`复制分区下的主题`	每个主题的未充分复制的分区数。

公制	描述
`消费者.补偿`	使用者组在分区上最后使用的偏移量。
`消费者标签`	经纪人的高水位线和消费者的补偿之间的差异(`消费者.hwm`-`消费者补偿`).
`消费者.hwm`	写入分区的最后一条消息的偏移量（高水位线）。
`用户.总滞后`	使用者使用的分区之间的延迟总和。
`consumerGroup.totalLag公司`	The sum of lags across all partitions consumed by a`消费者群体`。
`消费者组.maxLag`	The maximum lag across all partitions consumed by a`消费者群体`。
`consumerGroup.activeConsumers用户组`	此中的活动使用者数`消费者群体`。

卡夫卡监控集成

配置设置

配置设置

配置KafkaBrokerSample和KafkaTopicSample采集

Zookeeper自动发现参数

引导代理发现参数

JMX选项

Broker TLS连接选项

Broker SASL和Kerberos连接选项

Broker Collection筛选

配置KafkaConsumerSample和KafkaProducerSample采集

JMX SSL和超时选项

配置KafkaOffsetSample采集

Zookeeper自动发现参数

引导代理发现参数

JMX SSL和超时选项

故障排除

正在报告重复数据

集成正在记录错误“zk:找不到节点”

JMX连接错误

Kerberos身份验证失败

kafka-config.yml示例文件

Zooker发现

Zooker SSL发现

引导程序发现

引导发现TLS

引导发现kerberos身份验证

Zookeeper dicsovery主题桶

Java消费者和生产者

消费者补偿

集成收集的指标

KafkaBrokerSample事件

KafkaConsumerSample事件

KafkaProducerSample活动

KafkaTopicSample事件

KafkaOffsetSample事件

卡夫卡监控集成

配置设置.css-21sua1{background:none;border:none;width:0;padding:0;}

kafka-config.yml示例文件

Zooker发现

Zooker SSL发现

引导程序发现

引导发现TLS

引导发现kerberos身份验证

Zookeeper dicsovery主题桶

Java消费者和生产者

消费者补偿

集成收集的指标

KafkaBrokerSample事件

KafkaConsumerSample事件

KafkaProducerSample活动

KafkaTopicSample事件

KafkaOffsetSample事件

配置设置