dfdsdk/kafka-exporter

kafka-exporter

镜像概述和主要用途

kafka-exporter是一个Prometheus Kafka导出器，基于https://github.com/danielqsj/kafka_exporter%E6%9E%84%E5%BB%BA%E3%80%82%E4%B8%8E%E5%9F%BA%E7%A1%80%E9%95%9C%E5%83%8F%E4%B8%8D%E5%90%8C%EF%BC%8C%E6%9C%AC%E9%95%9C%E5%83%8F%E4%BD%BF%E7%94%A8%E7%8E%AF%E5%A2%83%E5%8F%98%E9%87%8F%E8%80%8C%E9%9D%9E%E5%91%BD%E4%BB%A4%E8%A1%8C%E5%8F%82%E6%95%B0%E8%BF%9B%E8%A1%8C%E9%85%8D%E7%BD%AE%EF%BC%8C%E7%AE%80%E5%8C%96%E4%BA%86%E9%83%A8%E7%BD%B2%E5%92%8C%E5%8F%82%E6%95%B0%E7%AE%A1%E7%90%86%E6%B5%81%E7%A8%8B%EF%BC%8C%E9%80%82%E7%94%A8%E4%BA%8E%E9%9C%80%E8%A6%81%E9%80%9A%E8%BF%87Prometheus%E7%9B%91%E6%8E%A7Kafka%E9%9B%86%E7%BE%A4%E6%8C%87%E6%A0%87%E7%9A%84%E5%9C%BA%E6%99%AF%E3%80%82

核心功能和特性

• 环境变量配置：通过环境变量设置关键参数，避免复杂的命令行参数管理
• SASL认证支持：提供SASL用户名和密码配置，支持安全认证
• 灵活过滤机制：可通过主题过滤器和消费组过滤器指定监控范围
• Prometheus兼容：输出Prometheus格式指标，便于集成到监控系统

使用场景和适用范围

适用于需要对Kafka集群进行监控的场景，包括：

• Kafka集群健康状态监控
• 主题和消费组性能指标收集
• 集成Prometheus+Grafana构建监控dashboard
• Kubernetes环境下的Kafka监控部署

详细使用方法和配置说明

环境变量配置

运行容器时需设置以下环境变量：

部署示例

Docker Run命令

bash
docker run -d \
  -p 9308:9308 \
  -e KAFKA_SERVER="kafka-1:9092,kafka-2:9092" \
  -e SASL_USERNAME="kafka-monitor" \
  -e SASL_PASSWORD="secure-password" \
  -e TOPIC_FILTER=".*" \
  -e GROUP_FILTER=".*" \
  --name kafka-exporter \
  kafka-exporter

部署先决条件

如果部署缺少作用域服务账户，请参考Kubernetes-ops-deployment-setup。

ServiceAccount配置

1. 在Confluent Cloud中创建ServiceAccount，并为其分配MetricsViewer角色
2. 在集群的"数据集成" > "API密钥"下，创建由该ServiceAccount拥有的新API密钥
3. 为新API密钥添加以下ACL权限：