elevy/kafka

Kafka Docker镜像文档

概述

本镜像为Kafka消息队列的Docker化部署版本，专门配置用于在Kubernetes集群环境中运行。它依赖ZooKeeper进行集群协调，通过环境变量灵活配置连接参数，支持持久化存储配置、数据和日志，适用于构建可靠的分布式消息系统。

核心功能与特性

环境变量配置

• ZOOKEEPER_SERVERS（必填）：逗号分隔的ZooKeeper服务器列表，格式为host:port，用于Kafka集群与ZooKeeper的连接
• ZOOKEEPER_ROOT（可选）：Kafka在ZooKeeper中存储状态的根路径，默认值为/kafka
• ADVERTISED_HOST_NAME（可选）：Kafka broker向客户端宣告的主机名，默认值为容器内hostname -f命令的输出结果
• KAFKA_HEAP_OPTS（可选）：JVM堆内存配置参数，如-Xms4g -Xmx4g，用于调整Kafka运行时内存资源

端口暴露

• 9092：Kafka服务端口，用于客户端连接
• 7203：JMX监控端口，用于监控Kafka运行状态

使用场景

适用于在Kubernetes集群中部署Kafka集群，尤其适合需要持久化存储配置、数据和日志的生产环境，支持高可用消息传递、日志收集、数据流处理等场景。

使用方法与配置说明

环境变量配置说明

1. ZOOKEEPER_SERVERS：必须指定ZooKeeper集群地址，例如zookeeper1:2181,zookeeper2:2181
2. ZOOKEEPER_ROOT：如需自定义ZooKeeper中的根路径，可通过此变量设置，默认无需配置
3. ADVERTISED_HOST_NAME：当容器网络环境需要显式指定访问地址时配置，默认使用容器主机名
4. KAFKA_HEAP_OPTS：根据集群规模和负载需求调整JVM内存参数，默认使用Kafka内置配置

Kubernetes部署示例

Service配置（无头服务）

yaml
apiVersion: v1
kind: Service
metadata:
  name: kafka
spec:
  clusterIP: None  # 无头服务，用于Kafka集群内部通信
  ports:
    - name: kafka
      port: 9092
    - name: jmx
      port: 7203
  selector:
    app: kafka

ReplicationController配置

yaml
apiVersion: v1
kind: ReplicationController
metadata:
  name: kafka
spec:
  replicas: 1  # 根据需求调整副本数
  template:
    metadata:
      labels:
        app: kafka
    spec:
      volumes:
        - name: config  # 配置持久化卷
          emptyDir: {}
        - name: data    # 数据持久化卷
          emptyDir: {}
        - name: log     # 日志持久化卷
          emptyDir: {}
      containers:
        - name: server
          image: elevy/kafka:latest
          env:
            - name: ZOOKEEPER_SERVERS
              value: zookeeper:2181  # 替换为实际ZooKeeper地址
            - name: ZOOKEEPER_ROOT
              value: /kafka          # 可自定义ZooKeeper根路径
            #- name: KAFKA_HEAP_OPTS
            #  value: "-Xms4g -Xmx4g"  # 根据需求启用并调整JVM参数
          ports:
            - containerPort: 9092
            - containerPort: 7203
          volumeMounts:
            - mountPath: /kafka/config  # 挂载配置卷
              name: config
            - mountPath: /kafka/data    # 挂载数据卷
              name: data
            - mountPath: /kafka/log     # 挂载日志卷
              name: log

注意事项

• 卷配置：示例中使用emptyDir，生产环境建议替换为持久化存储（如PersistentVolume）以确保数据持久化
• 集群扩展：如需部署多节点Kafka集群，需调整replicas数量并确保ZooKeeper集群正常运行
• 资源配置：根据实际负载调整CPU、内存资源限制，可通过Kubernetes的resources字段配置