bakdata/kafka-dead-letter-analyzer

镜像概述

该Docker镜像包含一个基于Kafka Streams的应用程序，专门用于分析Apache Kafka集群中的死信消息（Dead Letter Messages）。死信消息通常是指因格式错误、处理异常或其他原因无法被消费者正常处理的消息。本应用通过实时处理这些死信消息，提供详细的分析报告，帮助用户识别消息处理失败的根本原因，优化消息流处理逻辑，提升系统可靠性。

核心功能与特性

• 实时死信分析：基于Kafka Streams实时处理死信主题（Dead Letter Topic）中的消息
• 多维度分类：支持按错误类型（格式错误、处理异常、超时等）、消息来源、时间戳等维度对死信消息进行分类统计
• 原因诊断：自动提取死信消息中的错误信息（如异常堆栈、错误代码），辅助定位问题根源
• 结果输出：可将分析结果输出至指定Kafka主题或日志，支持集成监控系统（如Prometheus、Grafana）
• 配置灵活：支持通过环境变量配置Kafka连接参数、死信主题名称、分析规则等

使用场景

• 微服务消息通信监控：监控跨微服务间消息传递中的失败情况，保障服务间通信可靠性
• 事件驱动系统优化：分析事件处理失败原因，优化事件处理逻辑
• 数据管道错误处理：在ETL或数据集成管道中，识别数据格式或处理异常，提高数据处理成功率
• Kafka集群运维：辅助运维人员监控集群中消息处理健康状况，及时发现并解决问题

使用方法

基本使用（Docker Run）

bash
docker run -d \
  --name kafka-dead-letter-analyzer \
  -e KAFKA_BOOTSTRAP_SERVERS=kafka-broker:9092 \
  -e DEAD_LETTER_TOPIC=my-dead-letter-topic \
  -e OUTPUT_TOPIC=dead-letter-analysis-results \
  your-registry/kafka-dead-letter-analyzer:latest

Docker Compose配置

yaml
version: '3.8'
services:
  kafka-dead-letter-analyzer:
    image: your-registry/kafka-dead-letter-analyzer:latest
    container_name: kafka-dead-letter-analyzer
    environment:
      - KAFKA_BOOTSTRAP_SERVERS=kafka-broker:9092  # Kafka集群地址，多个地址用逗号分隔
      - DEAD_LETTER_TOPIC=my-dead-letter-topic       # 死信消息所在的Kafka主题
      - OUTPUT_TOPIC=dead-letter-analysis-results    # 分析结果输出的Kafka主题
      - GROUP_ID=dead-letter-analyzer-group          # Kafka消费者组ID，默认为'dead-letter-analyzer'
      - ANALYSIS_INTERVAL_MS=5000                    # 分析结果聚合间隔（毫秒），默认为5000ms
      - LOG_LEVEL=INFO                               # 日志级别，可选：DEBUG, INFO, WARN, ERROR，默认为INFO
    restart: unless-stopped

环境变量配置说明