mentheosis/kafka

镜像概述

该镜像基于ches/kafka构建，专为ECS（Elastic Container Service）环境优化。通过添加从ECS元数据服务自动获取暴露主机名的步骤，解决了ECS环境中Kafka服务主机名配置难题，确保Kafka在容器化环境中能够准确进行服务发现和节点通信。

核心功能和特性

• 基础镜像继承：基于ches/kafka镜像，完整继承其Kafka核心功能及配置
• ECS元数据集成：内置逻辑从ECS元数据服务获取容器暴露的主机名
• 环境适配：针对ECS网络环境优化，确保broker间通信正常
• 配置简化：自动处理主机名配置，减少ECS部署中的手动干预

使用场景和适用范围

• AWS ECS集群中部署Kafka服务的场景
• 需要在容器化环境中自动配置Kafka主机名的场景
• ECS任务中运行Kafka broker，且需确保服务发现功能正常的场景
• 容器动态调度环境下的Kafka集群部署

使用方法和配置说明

基本部署（docker run）

bash
docker run -d --name kafka-ecs \
  -e KAFKA_ADVERTISED_HOST_NAME=auto \  # 启用ECS元数据主机名获取
  -e KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181 \
  -p 9092:9092 \
  [镜像名称]

docker-compose配置示例

yaml
version: '3'
services:
  kafka:
    image: [镜像名称]
    ports:
      - "9092:9092"
    environment:
      - KAFKA_ADVERTISED_HOST_NAME=auto  # 自动从ECS元数据获取主机名
      - KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181
      - KAFKA_BROKER_ID=1
      - KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR=1
    depends_on:
      - zookeeper
  zookeeper:
    image: zookeeper:3.8
    ports:
      - "2181:2181"
    environment:
      - ZOOKEEPER_CLIENT_PORT=2181

环境变量说明

注意事项

• ECS任务需确保能够访问ECS元数据服务（默认地址：http://169.254.169.254/latest/meta-data/local-ipv4）
• 需配合Zookeeper服务使用，确保Zookeeper地址可访问
• 若ECS任务使用网络模式为awsvpc，元数据服务访问无需额外配置
• 生产环境建议设置KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR为大于1的值以提高可用性