harisekhon/kafka

Apache Kafka Docker镜像

概述

该Docker镜像提供Apache Kafka分布式消息队列服务，支持0.8至0.10版本，基于Scala 2.10和2.11构建。Kafka是由LinkedIn开发并捐献给Apache的分布式发布-订阅消息系统，旨在处理高吞吐量的实时数据流，具有持久化、高可靠性和可扩展性等特点。

核心功能与特性

• 分布式架构：支持多节点集群部署，提供高可用性和容错能力
• 高吞吐量：优化的存储和传输机制，支持每秒数十万条消息的处理
• 持久化存储：消息持久化到磁盘，支持数据重播和历史数据访问
• 多分区支持：通过分区机制实现水平扩展，提高并发处理能力
• 副本机制：支持消息副本，确保数据可靠性和容错性
• Scala版本兼容：基于Scala 2.10和2.11构建，适配不同依赖环境

使用场景与适用范围

• 实时数据流处理：作为流处理系统（如Spark Streaming、Flink）的数据源
• 日志收集与聚合：集中收集分布式系统的日志数据
• 系统解耦：实现微服务之间的异步通信，降低系统耦合度
• 事件驱动架构：支持事件发布与订阅，构建响应式应用
• 数据管道：作为数据从产生到处理的中间传输层

使用方法与配置说明

基本运行方式

使用以下命令启动Kafka容器（需先启动ZooKeeper）：

bash
docker run -d \
  --name kafka \
  -p 9092:9092 \
  -e KAFKA_ADVERTISED_HOST_NAME=localhost \
  -e KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181 \
  harisekhon/kafka:0.10-scala2.11

Docker Compose配置

推荐使用docker-compose进行部署，示例配置：

yaml
version: '2'
services:
  zookeeper:
    image: harisekhon/zookeeper
    ports:
      - "2181:2181"
  kafka:
    image: harisekhon/kafka:0.10-scala2.11
    depends_on:
      - zookeeper
    ports:
      - "9092:9092"
    environment:
      - KAFKA_ADVERTISED_HOST_NAME=localhost
      - KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181
      - KAFKA_NUM_PARTITIONS=3
      - KAFKA_DEFAULT_REPLICATION_FACTOR=1

启动命令：

bash
docker-compose up -d

环境变量配置

版本标签说明

镜像标签格式为[kafka版本]-scala[scala版本]，支持的标签包括：

• 0.8-scala2.10
• 0.8-scala2.11
• 0.9-scala2.10
• 0.9-scala2.11
• 0.10-scala2.10
• 0.10-scala2.11

交互操作

进入Kafka容器并使用命令行工具：

bash
docker exec -it kafka /bin/bash
# 创建主题
kafka-topics.sh --create --zookeeper zookeeper:2181 --replication-factor 1 --partitions 3 --topic test
# 查看主题列表
kafka-topics.sh --list --zookeeper zookeeper:2181
# 发送消息
kafka-console-producer.sh --broker-list localhost:9092 --topic test
# 消费消息
kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

注意事项

• 该镜像已被标记为 deprecated，官方推荐使用Confluent提供的Kafka镜像
• 生产环境中建议配置适当的副本因子和分区数以确保高可用性
• 需确保ZooKeeper服务正常运行，Kafka依赖ZooKeeper进行集群协调
• 不同版本的Kafka与Scala存在兼容性限制，需根据应用依赖选择合适的标签版本

相关资源

• Apache Kafka官方文档
• https://hub.docker.com/u/confluentinc/
• https://github.com/HariSekhon/Dockerfiles/tree/master/kafka