dannylesnik/kafka

Apache Kafka Docker镜像文档

镜像概述

本镜像提供在Swarm环境中运行Apache Kafka所需的全部组件。需配合位于同一覆盖网络中的Zookeeper集群使用，支持通过环境变量配置主题、日志策略及服务扩展。

核心功能与特性

环境变量配置

• TOPIC_LIST：需创建的主题列表，格式为[主题名称]:[副本因子]:[分区数]，多个主题用逗号分隔
• ZK_HOSTS：Zookeeper服务器地址列表，格式为"host1:port1,host2:port2"，例如"zoo1:2181,zoo2:2181"
• ZK_CHROOT：Zookeeper目录路径
• AUTO_GEN_BROKER_ID：设为"true"时支持Kafka服务扩展
• AUTO_CREATE_TOPICS：设为true时启用自动创建主题功能（对应auto.create.topics.enable属性）
• LOG_RETENTION_HOURS：日志文件保留时间（小时），默认160
• LOG_RETENTION_BYTES：日志文件最大大小，默认-1（无限制）
• NUM_PARTTIONS：每个主题的默认分区数

使用场景

• 开发/测试环境的Kafka单节点部署
• 生产环境的Kafka集群部署（配合多节点Zookeeper集群）
• 需要自动创建主题和配置日志策略的场景

使用方法与配置说明

Docker Compose示例

示例1：单ZooKeeper节点与单Kafka节点集群

包含两个主题：

• topic1：副本因子1，分区数5
• topic2：副本因子1，分区数4

yaml
version: '3.6'
services:
  zoo1:
    hostname: zoo1
    image: zookeeper
    ports:
    - 2181
    environment:
      ZOO_MY_ID: 1
      ZOO_SERVERS: server.1=0.0.0.0:2888:3888
    networks:
    - net
  kafka:
    hostname: kafka
    image: dannylesnik/kafka
    ports:
    - 9092
    environment:
      ZK_HOSTS: "zoo1:2181"
      TOPIC_LIST: "topic1:1:5,topic2:1:4"
      AUTO_GEN_BROKER_ID: "true"
      ZK_CHROOT: "bla"
    networks:
    - net
networks:
  net:

示例2：3节点ZooKeeper与4节点Kafka集群

包含两个主题：

• topic1：副本因子1，分区数5
• topic2：副本因子3，分区数4

yaml
version: '3.6'
services:
  zoo1:
    hostname: zoo1
    image: zookeeper
    ports:
    - 2181
    environment:
      ZOO_MY_ID: 1
      ZOO_SERVERS: server.1=0.0.0.0:2888:3888 server.2=zoo2:2888:3888 server.3=zoo3:2888:3888
    networks:
    - net
  zoo2:
    hostname: zoo2
    image: zookeeper
    ports:
    - 2181
    environment:
      ZOO_MY_ID: 2
      ZOO_SERVERS: server.1=zoo1:2888:3888 server.2=0.0.0.0:2888:3888 server.3=zoo3:2888:3888
    networks:
    - net
  zoo3:
    hostname: zoo3
    image: zookeeper
    ports:
    - 2181
    environment:
      ZOO_MY_ID: 3
      ZOO_SERVERS: server.1=zoo1:2888:3888 server.2=zoo2:2888:3888 server.3=0.0.0.0:2888:3888
    networks:
    - net
  kafka:
    hostname: kafka
    image: dannylesnik/kafka
    ports:
    - 9092
    deploy:
      replicas: 4
    environment:
      ZK_HOSTS: "zoo1:2181,zoo2:2181,zoo3:2181"
      TOPIC_LIST: "topic1:1:5,topic2:3:4"
      AUTO_GEN_BROKER_ID: "true"
      ZK_CHROOT: "test"
    networks:
    - net
networks:
  net:

公共Git仓库

https://github.com/dannylesnik/kafka