manojbadam/kafka

定制化wurstmeister Kafka Docker镜像文档

镜像概述

本镜像基于wurstmeister Kafka基础版本构建，针对项目特定需求进行定制化调整，提供开箱即用的分布式消息队列服务。通过优化配置、集成项目所需依赖及调整运行参数，确保与项目架构无缝适配，简化部署流程并提升消息处理性能。

核心功能与特性

• 定制化配置：根据项目需求调整Kafka核心参数（如分区数、副本数、消息留存策略等）
• 依赖优化：集成项目特定依赖组件，减少外部依赖管理复杂度
• 兼容性增强：针对项目技术栈（如特定JDK版本、网络环境）优化兼容性
• 简化部署：预设项目常用配置模板，支持快速启动与集成
• 监控集成：可选集成项目监控工具（如Prometheus、Grafana）指标暴露

使用场景

• 项目内部微服务间异步通信
• 高吞吐量数据流处理管道
• 事件驱动架构中的消息中转
• 日志/数据采集与分发
• 分布式系统中的解耦通信

使用方法与配置说明

基本启动命令

bash
docker run -d \
  --name project-kafka \
  -p 9092:9092 \
  -e KAFKA_ADVERTISED_HOST_NAME=192.168.1.100 \
  -e KAFKA_ADVERTISED_PORT=9092 \
  -e KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181 \
  -e KAFKA_NUM_PARTITIONS=3 \
  project/custom-kafka:latest

Docker Compose配置示例

yaml
version: '3'
services:
  zookeeper:
    image: wurstmeister/zookeeper
    ports:
      - "2181:2181"
  
  kafka:
    image: project/custom-kafka:latest
    depends_on:
      - zookeeper
    ports:
      - "9092:9092"
    environment:
      KAFKA_ADVERTISED_HOST_NAME: localhost
      KAFKA_ADVERTISED_PORT: 9092
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
      KAFKA_NUM_PARTITIONS: 3
      KAFKA_DEFAULT_REPLICATION_FACTOR: 1
      # 项目定制参数
      KAFKA_PROJECT_SPECIFIC_PARAM: "custom-value"
    volumes:
      - kafka-data:/kafka

volumes:
  kafka-data:

核心环境变量配置

项目定制功能启用

通过设置特定环境变量启用项目定制功能：

• ENABLE_PROJECT_MONITORING=true：启用项目监控指标暴露
• ENABLE_CUSTOM_SERIALIZER=true：启用项目定制序列化器
• CUSTOM_CONFIG_PATH=/etc/kafka/project-config：挂载外部项目配置文件

数据持久化

建议通过Docker卷挂载Kafka数据目录，确保数据持久化：

bash
docker run -d \
  --name project-kafka \
  -v /host/path/to/kafka-data:/kafka \
  project/custom-kafka:latest

注意事项

• 需确保ZooKeeper服务已提前部署并可访问
• 生产环境建议调整KAFKA_DEFAULT_REPLICATION_FACTOR至2以上确保高可用
• 项目定制参数需根据实际需求调整，具体参考项目内部配置文档
• 镜像版本需与项目技术栈版本兼容，建议使用固定版本号而非latest标签