zmstone/kafka

Kafka-Zookeeper 集成Docker镜像文档

镜像概述

本镜像集成了Apache Kafka和Apache Zookeeper，提供一站式分布式消息传递与协调服务。Kafka作为高吞吐量的分布式流处理平台，依赖Zookeeper进行集群元数据管理、分布式协调及故障检测。该镜像预配置两者联动环境，简化分布式系统搭建流程，适用于快速部署消息队列、实时数据处理及分布式应用协调场景。

核心功能与特性

Kafka核心特性

• 高吞吐量：支持每秒数十万条消息的读写，适合大规模数据传输
• 持久化存储：消息按主题（Topic）持久化到磁盘，支持数据重播
• 分布式架构：基于分区（Partition）和副本（Replica）机制，提供高可用性和水平扩展能力
• 多客户端支持：兼容Java、Python、Go等多种编程语言客户端
• 流处理集成：支持Kafka Streams API，可直接在Kafka上构建流处理应用

Zookeeper核心特性

• 分布式协调：提供分布式锁、选举、同步等协调服务，保障Kafka集群稳定运行
• 配置管理：集中存储和管理分布式系统配置信息
• 命名服务：为分布式资源提供统一命名，便于服务发现
• 集群监控：实时监控Kafka节点状态，支持故障自动转移

使用场景

1. 实时数据管道
   构建高吞吐量的实时数据流转通道，连接数据源（如数据库、日志文件）与数据处理系统（如Spark、Flink）

2. 日志聚合
   收集分布式系统各节点日志，集中存储并实时处理，支持日志检索与分析

3. 微服务通信
   作为微服务间异步通信的消息中间件，解耦服务依赖，提高系统弹性

4. 事件驱动架构
   支撑基于事件的应用架构，如订单状态变更、用户行为跟踪等事件的实时响应

5. 分布式应用协调
   为分布式应用提供集群管理、配置同步、节点健康检查等基础协调能力

使用方法

快速启动

通过docker run命令直接启动单节点服务：

bash
docker run -d \
  --name kafka-zookeeper \
  -p 2181:2181 \  # Zookeeper客户端端口
  -p 9092:9092 \  # Kafka broker端口
  -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://localhost:9092 \  # 客户端连接地址
  -e ZOOKEEPER_CLIENT_PORT=2181 \  # Zookeeper客户端端口
  your-image-name:latest

环境变量配置

Docker Compose配置

使用docker-compose.yml部署多节点集群（示例为1个Zookeeper+2个Kafka节点）：

yaml
version: '3'
services:
  zookeeper:
    image: your-image-name:latest
    command: zookeeper  # 启动Zookeeper服务
    ports:
      - "2181:2181"
    environment:
      ZOOKEEPER_CLIENT_PORT: 2181
      ZOOKEEPER_TICK_TIME: 2000
    volumes:
      - zookeeper-data:/data  # 持久化Zookeeper数据

  kafka-1:
    image: your-image-name:latest
    command: kafka  # 启动Kafka服务
    depends_on:
      - zookeeper
    ports:
      - "9092:9092"
    environment:
      KAFKA_BROKER_ID: 1
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
      KAFKA_LISTENERS: PLAINTEXT://0.0.0.0:9092
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://localhost:9092
      KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 2
    volumes:
      - kafka1-data:/kafka/data  # 持久化Kafka数据

  kafka-2:
    image: your-image-name:latest
    command: kafka
    depends_on:
      - zookeeper
    ports:
      - "9093:9092"
    environment:
      KAFKA_BROKER_ID: 2
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
      KAFKA_LISTENERS: PLAINTEXT://0.0.0.0:9092
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://localhost:9093
      KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 2
    volumes:
      - kafka2-data:/kafka/data

volumes:
  zookeeper-data:
  kafka1-data:
  kafka2-data:

数据持久化

通过挂载 volumes 持久化Zookeeper和Kafka数据，避免容器重启后数据丢失：

• Zookeeper数据路径：/data
• Kafka数据路径：/kafka/data

验证服务可用性

1. 进入容器执行Kafka命令行工具：

   bash
   docker exec -it kafka-zookeeper /bin/bash
   

2. 创建测试主题：

   bash
   kafka-topics.sh --create --bootstrap-server localhost:9092 --topic test-topic --partitions 1 --replication-factor 1
   

3. 发送测试消息：

   bash
   kafka-console-producer.sh --broker-list localhost:9092 --topic test-topic
   

4. 消费测试消息：

   bash
   kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test-topic --from-beginning
   

若能正常发送和接收消息，表明服务部署成功。