kafka

apache/kafka Docker 镜像

Apache 软件基金会镜像查看 Docker Hub 原文页

Apache Kafka是一个开源的分布式流处理平台，旨在提供高吞吐量、低延迟的实时数据流传递服务，支持发布/订阅消息模式，能够持久化存储海量数据流并确保数据可靠性，具备水平扩展能力和容错机制，广泛应用于日志收集、事件驱动架构、实时数据集成及流处理系统等场景，为企业级应用提供高效、稳定的数据流传输与处理解决方案。

225 次收藏下载次数: 0状态：社区镜像维护者：Apache 软件基金会镜像仓库类型：镜像最近更新：19 天前
下载命令
点击查看

Apache Kafka®

什么是 Apache Kafka？

Apache Kafka 是一款开源事件流平台，用于实时大规模收集、处理、存储和集成数据。它支持多种应用场景，包括流处理、数据集成和发布/订阅消息传递。

Kafka 最初由 LinkedIn 开发，2011 年开源，2012 年成为 Apache 软件基金会项目。目前全球数千家组织使用它来支撑关键实时应用，例如证券交易系统、电商平台、物联网监控与分析等。

快速入门

启动 Kafka broker

console
docker run -d --name broker docker.xuanyuan.run/apache/kafka:latest

进入 broker 容器终端

console
docker exec --workdir /opt/kafka/bin/ -it broker sh

创建主题

主题（topic）是 Kafka 中事件的逻辑分组。从容器内创建名为 test-topic 的主题：

console
./kafka-topics.sh --bootstrap-server localhost:9092 --create --topic test-topic

生产消息

使用 Kafka 自带的控制台生产者向 test-topic 写入两条字符串事件：

console
./kafka-console-producer.sh --bootstrap-server localhost:9092 --topic test-topic

命令执行后会显示 > 提示符，输入 hello 并按回车，再输入 world 按回车，最后按 Ctrl+C 退出生产者。

消费消息

从日志开头读取 test-topic 中的事件：

console
./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test-topic --from-beginning

会看到之前生产的两条消息：

hello
world

消费者会持续运行，按 Ctrl+C 退出。

停止容器

完成后，在主机执行以下命令停止并删除容器：

console
docker rm -f broker

覆盖默认 broker 配置

Kafka 支持通过环境变量覆盖大量 broker 配置。环境变量需以 KAFKA_ 开头，配置项中的点（.）需替换为下划线（_）。例如，要设置主题默认分区数 num.partitions，需定义环境变量 KAFKA_NUM_PARTITIONS。更多配置说明见 [Kafka Docker 镜像使用指南] 。

注意：覆盖任何配置后，默认配置将不再生效。例如，以 KRaft [combined 模式] （broker 和 controller 在同一容器中运行）启动 Kafka，并将默认分区数设为 3（默认是 1），需指定以下环境变量：

console
docker run -d  \
  --name broker \
  -e KAFKA_NODE_ID=1 \
  -e KAFKA_PROCESS_ROLES=broker,controller \
  -e KAFKA_LISTENERS=PLAINTEXT://:9092,CONTROLLER://:9093 \
  -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://localhost:9092 \
  -e KAFKA_CONTROLLER_LISTENER_NAMES=CONTROLLER \
  -e KAFKA_LISTENER_SECURITY_PROTOCOL_MAP=CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT \
  -e KAFKA_CONTROLLER_QUORUM_VOTERS=1@localhost:9093 \
  -e KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR=1 \
  -e KAFKA_TRANSACTION_STATE_LOG_REPLICATION_FACTOR=1 \
  -e KAFKA_TRANSACTION_STATE_LOG_MIN_ISR=1 \
  -e KAFKA_GROUP_INITIAL_REBALANCE_DELAY_MS=0 \
  -e KAFKA_NUM_PARTITIONS=3 \
  docker.xuanyuan.run/apache/kafka:latest

命令行指定大量环境变量较繁琐，建议使用 [Docker Compose] 管理。先检查 Docker Compose 是否安装：

console
docker compose version

未安装可参考 [安装文档] 。

使用 Docker Compose 覆盖分区数

  1. 创建 docker-compose.yml 文件，内容如下：
yaml
services:
  broker:
    image: docker.xuanyuan.run/apache/kafka:latest
    container_name: broker
    environment:
      KAFKA_NODE_ID: 1
      KAFKA_PROCESS_ROLES: broker,controller
      KAFKA_LISTENERS: PLAINTEXT://localhost:9092,CONTROLLER://localhost:9093
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://localhost:9092
      KAFKA_CONTROLLER_LISTENER_NAMES: CONTROLLER
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT
      KAFKA_CONTROLLER_QUORUM_VOTERS: 1@localhost:9093
      KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1
      KAFKA_TRANSACTION_STATE_LOG_REPLICATION_FACTOR: 1
      KAFKA_TRANSACTION_STATE_LOG_MIN_ISR: 1
      KAFKA_GROUP_INITIAL_REBALANCE_DELAY_MS: 0
      KAFKA_NUM_PARTITIONS: 3
  1. 在文件所在目录启动 Kafka（后台运行）：
console
docker compose up -d

  1. 可按 快速入门 步骤测试主题创建、消息生产与消费。

  2. 停止服务：

console
docker compose down

外部客户端连接

前面的示例在 Docker 容器内运行客户端命令。从外部连接需额外两步（单节点 combined 模式下）：

1. 端口映射

  • 使用 docker run：添加 -p 9092:9092 映射端口： 
    console
    docker run -d -p 9092:9092 --name broker docker.xuanyuan.run/apache/kafka:latest
  • 使用 Docker Compose：在 broker 服务中添加端口映射： 
    yaml
    ports:
  - 9092:9092

2. 下载 Kafka 发行版

从 [最新 Kafka 版本] 下载并解压，控制台生产者/消费者工具位于 bin 目录。此时 快速入门 步骤可在主机执行，localhost 指向主机而非容器内地址。

多节点部署

本节部署更接近实际场景的多节点集群：3 个 broker 和 3 个 controller（KRaft [isolated 模式] ），支持 Docker 内和主机连接。注意：此示例仅用于学习，不适合生产环境。

配置要点

  1. KAFKA_PROCESS_ROLES 按角色设为 broker 或 controller（非 combined 模式的 broker,controller）。
  2. KAFKA_CONTROLLER_QUORUM_VOTERS 列出 3 个 controller。
  3. 默认副本数配置（如 offsets.topic.replication.factor=3）可满足多节点场景，无需额外指定。
  4. Broker 需两个监听器：Docker 网络内（容器名解析）和主机（端口映射，如 broker-1 用 29092，broker-2 用 39092 等）。

部署步骤

  1. 创建 docker-compose.yml 文件：
yaml
services:
  controller-1:
    image: docker.xuanyuan.run/apache/kafka:latest
    container_name: controller-1
    environment:
      KAFKA_NODE_ID: 1
      KAFKA_PROCESS_ROLES: controller
      KAFKA_LISTENERS: CONTROLLER://:9093
      KAFKA_INTER_BROKER_LISTENER_NAME: PLAINTEXT
      KAFKA_CONTROLLER_LISTENER_NAMES: CONTROLLER
      KAFKA_CONTROLLER_QUORUM_VOTERS: 1@controller-1:9093,2@controller-2:9093,3@controller-3:9093
      KAFKA_GROUP_INITIAL_REBALANCE_DELAY_MS: 0

  controller-2:
    image: docker.xuanyuan.run/apache/kafka:latest
    container_name: controller-2
    environment:
      KAFKA_NODE_ID: 2
      KAFKA_PROCESS_ROLES: controller
      KAFKA_LISTENERS: CONTROLLER://:9093
      KAFKA_INTER_BROKER_LISTENER_NAME: PLAINTEXT
      KAFKA_CONTROLLER_LISTENER_NAMES: CONTROLLER
      KAFKA_CONTROLLER_QUORUM_VOTERS: 1@controller-1:9093,2@controller-2:9093,3@controller-3:9093
      KAFKA_GROUP_INITIAL_REBALANCE_DELAY_MS: 0

  controller-3:
    image: docker.xuanyuan.run/apache/kafka:latest
    container_name: controller-3
    environment:
      KAFKA_NODE_ID: 3
      KAFKA_PROCESS_ROLES: controller
      KAFKA_LISTENERS: CONTROLLER://:9093
      KAFKA_INTER_BROKER_LISTENER_NAME: PLAINTEXT
      KAFKA_CONTROLLER_LISTENER_NAMES: CONTROLLER
      KAFKA_CONTROLLER_QUORUM_VOTERS: 1@controller-1:9093,2@controller-2:9093,3@controller-3:9093
      KAFKA_GROUP_INITIAL_REBALANCE_DELAY_MS: 0

  broker-1:
    image: docker.xuanyuan.run/apache/kafka:latest
    container_name: broker-1
    ports:
      - 29092:9092
    environment:
      KAFKA_NODE_ID: 4
      KAFKA_PROCESS_ROLES: broker
      KAFKA_LISTENERS: 'PLAINTEXT://:19092,PLAINTEXT_HOST://:9092'
      KAFKA_ADVERTISED_LISTENERS: 'PLAINTEXT://broker-1:19092,PLAINTEXT_HOST://localhost:29092'
      KAFKA_INTER_BROKER_LISTENER_NAME: PLAINTEXT
      KAFKA_CONTROLLER_LISTENER_NAMES: CONTROLLER
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT,PLAINTEXT_HOST:PLAINTEXT
      KAFKA_CONTROLLER_QUORUM_VOTERS: 1@controller-1:9093,2@controller-2:9093,3@controller-3:9093
      KAFKA_GROUP_INITIAL_REBALANCE_DELAY_MS: 0
    depends_on:
      - controller-1
      - controller-2
      - controller-3

  broker-2:
    image: docker.xuanyuan.run/apache/kafka:latest
    container_name: broker-2
    ports:
      - 39092:9092
    environment:
      KAFKA_NODE_ID: 5
      KAFKA_PROCESS_ROLES: broker
      KAFKA_LISTENERS: 'PLAINTEXT://:19092,PLAINTEXT_HOST://:9092'
      KAFKA_ADVERTISED_LISTENERS: 'PLAINTEXT://broker-2:19092,PLAINTEXT_HOST://localhost:39092'
      KAFKA_INTER_BROKER_LISTENER_NAME: PLAINTEXT
      KAFKA_CONTROLLER_LISTENER_NAMES: CONTROLLER
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT,PLAINTEXT_HOST:PLAINTEXT
      KAFKA_CONTROLLER_QUORUM_VOTERS: 1@controller-1:9093,2@controller-2:9093,3@controller-3:9093
      KAFKA_GROUP_INITIAL_REBALANCE_DELAY_MS: 0
    depends_on:
      - controller-1
      - controller-2
      - controller-3

  broker-3:
    image: docker.xuanyuan.run/apache/kafka:latest
    container_name: broker-3
    ports:
      - 49092:9092
    environment:
      KAFKA_NODE_ID: 6
      KAFKA_PROCESS_ROLES: broker
      KAFKA_LISTENERS: 'PLAINTEXT://:19092,PLAINTEXT_HOST://:9092'
      KAFKA_ADVERTISED_LISTENERS: 'PLAINTEXT://broker-3:19092,PLAINTEXT_HOST://localhost:49092'
      KAFKA_INTER_BROKER_LISTENER_NAME: PLAINTEXT
      KAFKA_CONTROLLER_LISTENER_NAMES: CONTROLLER
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT,PLAINTEXT_HOST:PLAINTEXT
      KAFKA_CONTROLLER_QUORUM_VOTERS: 1@controller-1:9093,2@controller-2:9093,3@controller-3:9093
      KAFKA_GROUP_INITIAL_REBALANCE_DELAY_MS: 0
    depends_on:
      - controller-1
      - controller-2
      - controller-3
  1. 在文件目录启动集群：
console
docker compose up -d

测试集群

从 Docker 内操作

进入任一 broker 容器：

console
docker exec --workdir /opt/kafka/bin/ -it broker-1 sh

执行以下命令创建主题、生产/消费消息：

console
./kafka-topics.sh --bootstrap-server broker-1:19092,broker-2:19092,broker-3:19092 --create --topic test-topic

console
./kafka-console-consumer.sh --bootstrap-server broker-1:19092,broker-2:19092,broker-3:19092 --topic test-topic --from-beginning

console
./kafka-console-producer.sh --bootstrap-server broker-1:19092,broker-2:19092,broker-3:19092 --topic test-topic

从主机操作

进入 Kafka 发行版的 bin 目录，执行：

console
./kafka-topics.sh --bootstrap-server localhost:29092,localhost:39092,localhost:49092 --create --topic test-topic2

console
./kafka-console-producer.sh --bootstrap-server localhost:29092,localhost:39092,localhost:49092 --topic test-topic2

console
./kafka-console-consumer.sh --bootstrap-server localhost:29092,localhost:39092,localhost:49092 --topic test-topic2 --from-beginning

停止集群

console
docker compose down

扩展资源

  • [Apache Kafka 官方文档]
  • [Kafka Streams 介绍] ：Kafka 的 JVM 流处理库
  • [Kafka Connect 介绍] ：配置式连接器框架，支持外部系统与 Kafka 间的数据传输
  • [Kafka 相关书籍与论文]
  • [流处理会议演讲幻灯片与录像]

apache/kafka 镜像文档

(2 篇)
Docker 部署 Apache Kafka：轻松搭建分布式消息队列

Docker 部署 Apache Kafka：轻松搭建分布式消息队列

Apache Kafka 是 Apache 软件基金会 维护的开源 分布式事件流平台（最初由 LinkedIn 开发并开源）。它把事件按 主题（topic） 落盘保存，生产者写入、消费者按消费组独立拉取；同一条流既能给实时告警用，也能给离线数仓、审计回放用——不是「取走就没」的一次性队列，而是可重放的日志型存储。能力覆盖高吞吐写入、分区扩展、多订阅者并存，以及对接 Kafka Connect（外部系统进出）、Kafka Streams（JVM 流处理）等生态；全球大量组织用它支撑日志收集、事件驱动微服务、CDC 缓冲与实时分析前置层。集群跑在你自己的 Docker / 机器上，段文件与元数据落在本地卷里——本机或内网客户端连上就能收发，不必把核心事件流绑死在某一家公有云 MQ。

阅读全文
Apache Kafka Docker 容器化部署指南

Apache Kafka Docker 容器化部署指南

Apache Kafka是一个开源的分布式事件流平台，旨在高吞吐量、低延迟地处理实时数据流。它最初由LinkedIn开发，2011年开源，2012年成为Apache Software Foundation顶级项目。Kafka广泛应用于流处理、数据集成、发布/订阅消息传递等场景，全球数千家组织使用它来支持关键业务的实时应用。

阅读全文

apache/kafka 国内 Docker 镜像拉取说明

在国内网络环境下，直接使用 docker pull 访问 Docker Hub 官方仓库时，较常遇到连接超时、TLS 握手失败或 registry 响应缓慢等情况。这类问题多与跨境链路质量、运营商策略及客户端 DNS 解析有关，并非单个镜像本身异常。

轩辕镜像提供两种常用加速方式：一是使用公共加速域名 docker.xuanyuan.run 拉取（可参考 登录认证方式）；二是在控制台配置 专属域名拉取，将拉取命令中的 registry 前缀替换为分配的专属域名，通常能提升成功率与稳定性。

以 apache/kafka 为例，加速拉取命令格式为 docker pull docker.xuanyuan.run/apache/kafka:<标签>，请将 <标签> 替换为具体版本。下方「镜像拉取方式」区块提供与本文一致的命令示例，可直接复制使用。

相关问题

镜像拉取方式

您可以使用以下命令拉取该镜像。请将 <标签> 替换为具体的标签版本。如需查看所有可用标签版本，请访问 标签列表页面。

轩辕镜像加速拉取命令点我查看更多 kafka 镜像标签

docker pull docker.xuanyuan.run/apache/kafka:<标签>

使用方法：

DockerHub 原生拉取命令

docker pull apache/kafka:<标签>

用户好评

来自真实用户的反馈，见证轩辕镜像的优质服务

查看流量套餐与价格
用户头像

oldzhang

运维工程师

Linux服务器

5

"Docker访问体验非常流畅，大镜像也能快速完成下载。"

专业版 · 高速稳定拉取镜像
50GB 仅 ¥8/年
高速镜像下载在线技术支持专业版保障服务可用付费会员免广告