radiantone/zk-exporter

zk-exporter

镜像概述和主要用途

zk-exporter是一款用于将ZooKeeper的mntr统计信息转换为Prometheus格式的导出工具。它能够采集ZooKeeper的关键指标，方便通过Prometheus进行监控和告警。其中，zk_followers、zk_synced_followers和zk_pending_syncs指标仅在集群领导者节点上可用。

核心功能和特性

• Prometheus格式导出：将ZooKeeper的mntr命令输出转换为Prometheus可识别的指标格式
• 集群指标支持：针对ZooKeeper集群提供领导者节点特有指标
• 灵活配置：支持通过命令行参数或环境变量配置连接信息、超时时间等
• 多模式支持：支持拉取模式（默认）和推送模式（通过Pushgateway）
• 日志集成：可与Fluentd集成，实现日志流传输至Elasticsearch

使用场景和适用范围

• ZooKeeper集群状态监控（如 follower 数量、同步状态等）
• 分布式系统中ZooKeeper节点的性能指标采集
• 结合Prometheus和Grafana构建ZooKeeper监控仪表盘
• 需要将ZooKeeper指标推送到Pushgateway的场景

使用方法和配置说明

1. ZooKeeper配置

从ZooKeeper v3.4.10开始，需要将mntr命令加入白名单。修改ZooKeeper配置文件zoo.cfg：

bash
echo "4lw.commands.whitelist=mntr" >> /path/to/zoo.cfg
# 重启ZooKeeper使配置生效
/path/to/zookeeper/bin/stop_zookeeper.sh
/path/to/zookeeper/bin/start_zookeeper.sh

2. 命令行参数

警告：自v0.1.10版本起，指定目标ZooKeeper主机的参数已变更，使用时请注意。

Usage of zookeeper-exporter:
  -listen string
        监听地址 (默认 "0.0.0.0:9141")
  -location string
        指标路径 (默认 "/metrics")
  -timeout int
        连接ZooKeeper的超时时间（秒）(默认 30)
  -zk-hosts string
        ZooKeeper服务器列表，逗号分隔，例如 '10.0.0.1:2181,10.0.0.2:2181'
  -zk-tls-auth bool
        是否启用ZooKeeper TLS客户端认证 (默认 false)
  -zk-tls-auth-cert string
        TLS客户端认证证书路径（当-zk-tls-auth为true时必填）
  -zk-tls-auth-key string
        TLS客户端认证密钥路径（当-zk-tls-auth为true时必填）

3. 环境变量

指标默认在9095端口的/metrics路径提供 ZKExporter容器需要访问ZooKeeper日志文件：/opt/radiantone/rli-zookeeper-external/zookeeper/logs/zookeeper.log

4. Docker Compose示例

仅指标采集

yaml
zkexp-0:
    image: radiantone/zk-exporter
    hostname: "zkexp-0"
    privileged: true
    environment:
      ZK_CONN: "zk-0:2181"  # ZooKeeper连接字符串
    ports:
      - 9095:9095  # 指标端口
    volumes:
      - zk-0:/opt/radiantone  # 挂载ZooKeeper数据目录
    networks:
      zk-net:
        aliases:
          - zkexp-0

指标采集+Fluentd（默认Elasticsearch配置）

yaml
zkexp-0:
    image: radiantone/zk-exporter
    hostname: "zkexp-0"
    privileged: true
    environment:
      ZK_CONN: "zk-0:2181"
      FLUENTD_ENABLE: "true"  # 启用Fluentd
      FLUENTD_CONF: "/fluentd/etc/fluent.conf"
      ELASTICSEARCH_HOST: "elasticsearch"  # Elasticsearch主机
      ELASTICSEARCH_PORT: "9200"  # Elasticsearch端口
    ports:
      - 9095:9095
    volumes:
      - zk-0:/opt/radiantone
    networks:
      zk-net:
        aliases:
          - zkexp-0

指标采集+Fluentd（自定义配置）

yaml
zkexp-0:
    image: radiantone/zk-exporter
    hostname: "zkexp-0"
    privileged: true
    environment:
      ZK_CONN: "zk-0:2181"
      FLUENTD_ENABLE: "true"
      FLUENTD_CONF: "/fluentd/etc/fluent.conf"  # 自定义配置路径
    ports:
      - 9095:9095
    volumes:
      - zk-0:/opt/radiantone
      - ./fluent.conf:/fluentd/etc/fluent.conf  # 挂载自定义Fluentd配置
    networks:
      zk-net:
        aliases:
          - zkexp-0

推送模式+Fluentd（默认Elasticsearch配置）

yaml
zkexp-0:
    container_name: "zkexp-0"
    build: .
    hostname: "zkexp-0"
    privileged: true
    environment:
      PUSH_MODE: "true"  # 启用推送模式
      PUSHGATEWAY_URI: "http://pushgateway:9091"  # Pushgateway地址
      ZK_CONN: "zk-0:2181"
      FLUENTD_ENABLE: "true"
      FLUENTD_CONF: "/fluentd/etc/fluent.conf"
      ELASTICSEARCH_HOST: "elasticsearch"
      ELASTICSEARCH_PORT: "9200"

5. 启动与停止

使用docker-compose管理ZooKeeper集群和exporter：

bash
# 启动集群和exporter
docker-compose up -d

# 停止并清除容器
docker-compose down -v

6. Grafana仪表盘

推荐使用Grafana仪表盘监控指标：ZooKeeper Exporter Dashboard