digitsy/kafka-magic

Kafka Magic Docker镜像文档

镜像概述和主要用途

Kafka Magic是一款图形化界面(GUI)应用，专为Apache Kafka®集群设计，主要用于搜索和查看消息。它提供直观的操作界面，帮助用户轻松浏览Kafka主题中的消息内容，支持多种消息序列化格式解析，并针对大型主题进行了性能优化。

核心功能和特性

• 灵活的消息查询：支持使用JavaScript编写查询语句，精准定位所需消息
• 多格式消息查看：兼容字符串(String)、Json和Avro等多种序列化格式的消息解析
• 高效处理大型主题：针对包含数百万消息的大型Kafka主题进行了优化，确保高效运行
• 智能过滤机制：支持按时间戳(Timestamp)或分区/偏移量(Partition/Offset)进行过滤，显著提升搜索速度

使用场景和适用范围

• 开发与调试：开发人员在Kafka应用开发过程中，快速查看消息内容和结构，验证消息生产与消费逻辑
• 数据验证：数据工程师检查Kafka主题中消息的格式正确性和数据完整性
• 问题排查：运维人员在Kafka集群出现异常时，通过查看历史消息定位问题根源
• 业务监控：业务人员通过图形界面直观监控关键Kafka主题的消息流动情况

使用方法和配置说明

基本运行命令

通过以下命令启动Kafka Magic容器，默认暴露8080端口：

bash
docker run -d -p 8080:8080 --name kafka-magic [镜像名称]

环境变量配置

可通过环境变量配置Kafka集群连接信息，常用参数包括：

Docker Compose示例

以下是包含Kafka集群和Kafka Magic的docker-compose配置示例：

yaml
version: '3'
services:
  zookeeper:
    image: confluentinc/cp-zookeeper:latest
    environment:
      ZOOKEEPER_CLIENT_PORT: 2181
      ZOOKEEPER_TICK_TIME: 2000
    ports:
      - "2181:2181"

  kafka:
    image: confluentinc/cp-kafka:latest
    depends_on:
      - zookeeper
    ports:
      - "9092:9092"
    environment:
      KAFKA_BROKER_ID: 1
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: PLAINTEXT:PLAINTEXT,PLAINTEXT_HOST:PLAINTEXT
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://kafka:29092,PLAINTEXT_HOST://localhost:9092
      KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1

  kafka-magic:
    image: [镜像名称]
    depends_on:
      - kafka
    ports:
      - "8080:8080"
    environment:
      KAFKA_BROKERS: "kafka:29092"

启动后，通过浏览器访问 http://localhost:8080 即可打开Kafka Magic界面，配置Kafka集群连接后开始使用消息搜索和查看功能。