materialize/kafka-util

Kafka测试工具镜像

镜像概述

本镜像提供一套专为Kafka测试设计的实用工具集，旨在帮助开发者和测试人员快速搭建Kafka测试环境，执行各类测试任务。包含Kafka客户端工具、消息生成器、主题管理工具及性能测试组件，简化Kafka相关功能验证和集成测试流程。

核心功能与特性

• 完整工具集：集成Kafka官方客户端、消息生产/消费工具、主题管理脚本
• 便捷操作：支持一键执行常见测试操作（创建主题、发送测试消息、消费验证）
• 轻量级设计：基于Alpine构建，镜像体积小，启动快速
• 灵活配置：通过环境变量轻松配置Kafka连接参数，适配不同测试场景
• 兼容性强：支持主流Kafka版本（0.11.x+），兼容常见消息格式

使用场景

• 开发阶段的Kafka功能单元测试
• 集成测试中的Kafka服务连通性验证
• CI/CD流程中的自动化测试环节
• Kafka主题配置与消息流转验证
• 本地开发环境的Kafka快速测试

使用方法

基本使用（Docker Run）

bash
# 连接到现有Kafka集群并创建测试主题
docker run --rm \
  -e KAFKA_BROKER=kafka:9092 \
  -e TOPIC_NAME=test-topic \
  -e PARTITIONS=3 \
  -e REPLICATION_FACTOR=1 \
  kafka-test-utils create-topic

# 发送测试消息到指定主题
docker run --rm \
  -e KAFKA_BROKER=kafka:9092 \
  -e TOPIC_NAME=test-topic \
  -e MESSAGE_COUNT=100 \
  -e MESSAGE_SIZE=256 \
  kafka-test-utils produce-messages

# 消费主题消息并验证
docker run --rm \
  -e KAFKA_BROKER=kafka:9092 \
  -e TOPIC_NAME=test-topic \
  -e GROUP_ID=test-group \
  kafka-test-utils consume-messages

Docker Compose集成

yaml
version: '3'
services:
  kafka:
    image: confluentinc/cp-kafka:latest
    environment:
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://kafka:9092
      KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1
    depends_on:
      - zookeeper
      
  zookeeper:
    image: confluentinc/cp-zookeeper:latest
    environment:
      ZOOKEEPER_CLIENT_PORT: 2181

  kafka-test:
    image: kafka-test-utils
    environment:
      KAFKA_BROKER: kafka:9092
      TOPIC_NAME: integration-test
      PARTITIONS: 2
    depends_on:
      - kafka

环境变量配置

常用命令

• create-topic: 创建指定配置的Kafka主题
• delete-topic: 删除指定主题
• produce-messages: 生成测试消息到指定主题
• consume-messages: 从指定主题消费消息并输出
• list-topics: 列出Kafka集群中的所有主题
• describe-topic: 查看指定主题的详细配置信息
• performance-test: 执行Kafka性能测试（吞吐量、延迟）

注意事项

• 确保Kafka broker地址可从容器内部访问（使用Docker网络时配置正确的服务名）
• 生产环境中仅用于测试目的，不建议用于生产数据处理
• 高并发测试时建议调整容器资源限制（--memory、--cpus参数）
• 测试完成后使用--rm参数自动清理容器，避免资源残留