bbvalabs/kafka

Kafka Docker镜像

镜像概述和主要用途

engapa/kafka镜像提供了在Docker环境中运行Apache Kafka的完整解决方案。该镜像基于指定版本的Scala和Kafka构建，包含必要的脚本以实现动态配置、服务管理和部署灵活性。默认配置下，镜像会启动Kafka服务器并附带本地Zookeeper进程，也支持连接外部Zookeeper集群，适用于开发、测试及简单生产环境的Kafka部署。

核心功能和特性

• 动态配置：通过环境变量动态生成Kafka及Zookeeper配置文件，无需手动修改配置文件
• 本地Zookeeper集成：默认启动本地Zookeeper进程，简化单节点部署
• 外部Zookeeper支持：可配置连接外部Zookeeper集群，支持分布式部署
• 多配置文件支持：支持Kafka服务器、消费者、生产者、Zookeeper等多种配置文件的环境变量注入
• 调试模式：通过环境变量开启配置过程调试日志，便于问题排查
• 灵活部署：支持自定义命令和配置文件挂载，满足个性化需求

使用场景和适用范围

• 开发环境中快速搭建Kafka服务进行应用测试
• 单节点Kafka服务部署，用于小型应用或演示
• 需要动态调整配置的Kafka服务场景
• 与Kubernetes、Openshift等容器编排平台集成部署

详细使用方法和配置说明

构建镜像

可通过以下命令构建自定义版本的Kafka镜像：

bash
export KAFKA_HOME="/opt/kafka"
export SCALA_VERSION="2.12"
export KAFKA_VERSION="0.11.0.0"
docker build --build-arg SCALA_VERSION=$SCALA_VERSION --build-arg KAFKA_VERSION=$KAFKA_VERSION --build-arg KAFKA_HOME=$KAFKA_HOME \
-t engapa/kafka:${SCALA_VERSION}-${KAFKA_VERSION} .

构建完成后，Kafka发行版（版本为${SCALA_VERSION}-${KAFKA_VERSION}）将位于容器内的$KAFKA_HOME目录下。

镜像包含脚本

• kafka_download.sh：下载Kafka发行版的脚本
• kafka_env.sh：加载默认环境变量的脚本
• kafka_setup.sh：基于环境变量动态配置Kafka和Zookeeper（依赖https://github.com/engapa/utils-docker%EF%BC%89
• kafka_server.sh：管理Kafka和可选Zookeeper进程的核心脚本
• kafka_server_status.sh：检查Kafka服务器状态的脚本

运行容器

默认运行（含本地Zookeeper）

默认命令会启动Kafka服务器及本地Zookeeper进程：

bash
docker run -it engapa/kafka:${SCALA_VERSION}-${KAFKA_VERSION}

启用调试模式

通过SETUP_DEBUG=true环境变量查看配置过程详情：

bash
docker run -it -e "SETUP_DEBUG=true" engapa/kafka:${SCALA_VERSION}-${KAFKA_VERSION}

自定义配置参数

通过环境变量配置Kafka属性，格式为PREFIX_配置项=值，其中PREFIX对应不同配置文件：

bash
docker run -it -d \
  -e "LOG4J_log4j_rootLogger=DEBUG, stdout" \
  -e "SERVER_log_retention_hours=24" \
  engapa/kafka:${SCALA_VERSION}-${KAFKA_VERSION}

也可通过--env-file从文件加载环境变量：

bash
docker run -it -d --env-file kafka.env engapa/kafka:${SCALA_VERSION}-${KAFKA_VERSION}

使用外部Zookeeper

设置KAFKA_ZK_LOCAL=false并指定外部Zookeeper地址：

bash
docker run -it -d \
  -e "KAFKA_ZK_LOCAL=false" \
  -e "SERVER_zookeeper_connect=zookeeperserver1:2181,zookeeperserver2:2181" \
  engapa/kafka:${SCALA_VERSION}-${KAFKA_VERSION}

自定义启动命令

可覆盖默认命令，使用kafka_server.sh的--override参数直接覆盖配置：

bash
docker run -it -e "SETUP_DEBUG=true" engapa/kafka:${SCALA_VERSION}-${KAFKA_VERSION} \
  /bin/bash -c "kafka_server.sh start --override advertised.host.name=example.com"

环境变量配置规则

以下表格列出环境变量前缀与配置文件的对应关系：

Kubernetes和Openshift示例

• Kubernetes：项目的k8s目录包含Kubernetes部署示例和工具
• Openshift：项目的openshift目录提供Openshift模板示例