coco/kafka-lagcheck

kafka-lagcheck - Kafka消费者延迟检查

镜像概述和主要用途

kafka-lagcheck是一个用于监控Kafka消费者延迟的工具，通过创建健康检查（healthcheck）和就绪（good-to-go）端点，检查Kafka消费者的滞后情况。它连接基于https://github.com/linkedin/Burrow的应用，作为转发器向Burrow发送请求，并将结果转换为FT标准的健康检查格式。

核心功能和特性

• 提供健康检查端点，实时检查每个消费者的延迟状态
• 提供就绪端点，用于判断服务是否正常就绪
• 支持环境白名单过滤，仅监控指定环境的消费者和Kafka Bridges

使用场景和适用范围

适用于需要监控Kafka消费者延迟的环境，帮助运维和开发人员及时发现消费者滞后问题，确保Kafka消息处理的及时性和稳定性。特别适合需要遵循FT标准健康检查格式的系统。

详细使用方法和配置说明

安装前提

1. 需在本地运行https://github.com/Financial-Times/burrow
2. 执行以下命令安装应用：

   bash
   go get github.com/Financial-Times/kafka-lagcheck
   cd $GOPATH/src/github.com/Financial-Times/kafka-lagcheck
   go get -u github.com/kardianos/govendor
   $GOPATH/bin/govendor sync
   go install
   

本地运行

安装完成后，执行以下命令启动应用：

bash
./kafka-lagcheck

服务端点

健康检查端点

用于检查每个消费者的延迟情况：

• 使用curl访问：

  bash
  curl localhost:8080/__health
  

就绪端点

用于判断服务是否就绪：

• 使用curl访问：

  bash
  curl localhost:8080/__gtg
  

环境白名单配置

为过滤需要检查延迟的消费者列表，可通过环境白名单指定监控范围。应用将仅监控当前集群的消费者以及位于白名单环境中的Kafka Bridges。

环境白名单通过环境变量WHITELISTED_ENVS配置。例如，若pub-prod-env1环境的kafka-lagcheck设置WHITELISTED_ENVS=prod-env1, prod-env2，则仅pub-prod-env1的消费者以及prod-env1和prod-env2环境的Kafka Bridges会出现在健康检查列表中，其他环境（如pre-prod）的Kafka Bridges将被忽略。