apache/kafka

Apache Kafka是一个开源的分布式流处理平台，旨在提供高吞吐量、低延迟的实时数据流传递服务，支持发布/订阅消息模式，能够持久化存储海量数据流并确保数据可靠性，具备水平扩展能力和容错机制，广泛应用于日志收集、事件驱动架构、实时数据集成及流处理系统等场景，为企业级应用提供高效、稳定的数据流传输与处理解决方案。

215 次收藏下载次数: 0状态：社区镜像维护者：Apache 软件基金会镜像仓库类型：镜像最近更新：1 个月前

让 AI 帮你使用轩辕镜像？ · 展开查看说明

如果你使用 DeepSeek、元宝 AI、Copilot、ChatGPT 等 AI 工具，协助配置轩辕镜像、编写 docker pull 命令、修改 Docker Compose 镜像地址、配置镜像加速、排查镜像拉取失败、分析报错日志等问题，请先让 AI 阅读并遵守轩辕镜像的规则文档。

只需在 AI 对话中先发送下面这句话即可：

请先完整阅读并严格遵守以下文档中的全部规则与要求：

https://xuanyuan.cloud/agents.md

在未充分阅读并理解该文档前，不要生成任何命令、配置、修改建议、故障排查方案或技术回答。后续所有输出都必须严格以该文档中的规范为最高优先级执行。

查看 agents.md 用法指南与完整示范。国内用户首推元宝 AI、DeepSeek 的深度思考模式，不推荐豆包 AI；Cursor 等编辑器可在对话 @ 该链接，或加入 User Rules。若 AI 无法访问外链，可打开说明文档复制全文粘贴。文档会随站点更新，复制内容可能过期，建议定期检查。

DockerHub 官方简介

轩辕镜像中文简介

下载命令

镜像标签列表与下载命令

轩辕镜像，让镜像更快，让人生更轻。

点击查看

Apache Kafka®

什么是 Apache Kafka？

Apache Kafka 是一款开源事件流平台，用于实时大规模收集、处理、存储和集成数据。它支持多种应用场景，包括流处理、数据集成和发布/订阅消息传递。

Kafka 最初由 LinkedIn 开发，2011 年开源，2012 年成为 Apache 软件基金会项目。目前全球数千家组织使用它来支撑关键实时应用，例如证券交易系统、电商平台、物联网监控与分析等。

快速入门

启动 Kafka broker

console
docker run -d --name broker docker.xuanyuan.run/apache/kafka:latest

进入 broker 容器终端

console
docker exec --workdir /opt/kafka/bin/ -it broker sh

创建主题

主题（topic）是 Kafka 中事件的逻辑分组。从容器内创建名为 test-topic 的主题：

console
./kafka-topics.sh --bootstrap-server localhost:9092 --create --topic test-topic

生产消息

使用 Kafka 自带的控制台生产者向 test-topic 写入两条字符串事件：

console
./kafka-console-producer.sh --bootstrap-server localhost:9092 --topic test-topic

命令执行后会显示 > 提示符，输入 hello 并按回车，再输入 world 按回车，最后按 Ctrl+C 退出生产者。

消费消息

从日志开头读取 test-topic 中的事件：

console
./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test-topic --from-beginning

会看到之前生产的两条消息：

hello
world

消费者会持续运行，按 Ctrl+C 退出。

停止容器

完成后，在主机执行以下命令停止并删除容器：

console
docker rm -f broker

覆盖默认 broker 配置

Kafka 支持通过环境变量覆盖大量 broker 配置。环境变量需以 KAFKA_ 开头，配置项中的点（.）需替换为下划线（_）。例如，要设置主题默认分区数 num.partitions，需定义环境变量 KAFKA_NUM_PARTITIONS。更多配置说明见 [Kafka Docker 镜像使用指南] 。

注意：覆盖任何配置后，默认配置将不再生效。例如，以 KRaft [combined 模式] （broker 和 controller 在同一容器中运行）启动 Kafka，并将默认分区数设为 3（默认是 1），需指定以下环境变量：

console
docker run -d  \
  --name broker \
  -e KAFKA_NODE_ID=1 \
  -e KAFKA_PROCESS_ROLES=broker,controller \
  -e KAFKA_LISTENERS=PLAINTEXT://:9092,CONTROLLER://:9093 \
  -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://localhost:9092 \
  -e KAFKA_CONTROLLER_LISTENER_NAMES=CONTROLLER \
  -e KAFKA_LISTENER_SECURITY_PROTOCOL_MAP=CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT \
  -e KAFKA_CONTROLLER_QUORUM_VOTERS=1@localhost:9093 \
  -e KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR=1 \
  -e KAFKA_TRANSACTION_STATE_LOG_REPLICATION_FACTOR=1 \
  -e KAFKA_TRANSACTION_STATE_LOG_MIN_ISR=1 \
  -e KAFKA_GROUP_INITIAL_REBALANCE_DELAY_MS=0 \
  -e KAFKA_NUM_PARTITIONS=3 \
  docker.xuanyuan.run/apache/kafka:latest

命令行指定大量环境变量较繁琐，建议使用 [Docker Compose] 管理。先检查 Docker Compose 是否安装：

console
docker compose version

未安装可参考 [安装文档] 。

使用 Docker Compose 覆盖分区数

创建 docker-compose.yml 文件，内容如下：

yaml
services:
  broker:
    image: docker.xuanyuan.run/apache/kafka:latest
    container_name: broker
    environment:
      KAFKA_NODE_ID: 1
      KAFKA_PROCESS_ROLES: broker,controller
      KAFKA_LISTENERS: PLAINTEXT://localhost:9092,CONTROLLER://localhost:9093
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://localhost:9092
      KAFKA_CONTROLLER_LISTENER_NAMES: CONTROLLER
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT
      KAFKA_CONTROLLER_QUORUM_VOTERS: 1@localhost:9093
      KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1
      KAFKA_TRANSACTION_STATE_LOG_REPLICATION_FACTOR: 1
      KAFKA_TRANSACTION_STATE_LOG_MIN_ISR: 1
      KAFKA_GROUP_INITIAL_REBALANCE_DELAY_MS: 0
      KAFKA_NUM_PARTITIONS: 3

在文件所在目录启动 Kafka（后台运行）：

console
docker compose up -d

可按快速入门步骤测试主题创建、消息生产与消费。
停止服务：

console
docker compose down

外部客户端连接

前面的示例在 Docker 容器内运行客户端命令。从外部连接需额外两步（单节点 combined 模式下）：

1. 端口映射

使用 docker run：添加 -p 9092:9092 映射端口：

console
docker run -d -p 9092:9092 --name broker docker.xuanyuan.run/apache/kafka:latest

使用 Docker Compose：在 broker 服务中添加端口映射：

yaml
ports:
  - 9092:9092

2. 下载 Kafka 发行版

从 [最新 Kafka 版本] 下载并解压，控制台生产者/消费者工具位于 bin 目录。此时快速入门步骤可在主机执行，localhost 指向主机而非容器内地址。

多节点部署

本节部署更接近实际场景的多节点集群：3 个 broker 和 3 个 controller（KRaft [isolated 模式] ），支持 Docker 内和主机连接。注意：此示例仅用于学习，不适合生产环境。

配置要点

KAFKA_PROCESS_ROLES 按角色设为 broker 或 controller（非 combined 模式的 broker,controller）。
KAFKA_CONTROLLER_QUORUM_VOTERS 列出 3 个 controller。
默认副本数配置（如 offsets.topic.replication.factor=3）可满足多节点场景，无需额外指定。
Broker 需两个监听器：Docker 网络内（容器名解析）和主机（端口映射，如 broker-1 用 29092，broker-2 用 39092 等）。

部署步骤

创建 docker-compose.yml 文件：

yaml
services:
  controller-1:
    image: docker.xuanyuan.run/apache/kafka:latest
    container_name: controller-1
    environment:
      KAFKA_NODE_ID: 1
      KAFKA_PROCESS_ROLES: controller
      KAFKA_LISTENERS: CONTROLLER://:9093
      KAFKA_INTER_BROKER_LISTENER_NAME: PLAINTEXT
      KAFKA_CONTROLLER_LISTENER_NAMES: CONTROLLER
      KAFKA_CONTROLLER_QUORUM_VOTERS: 1@controller-1:9093,2@controller-2:9093,3@controller-3:9093
      KAFKA_GROUP_INITIAL_REBALANCE_DELAY_MS: 0

  controller-2:
    image: docker.xuanyuan.run/apache/kafka:latest
    container_name: controller-2
    environment:
      KAFKA_NODE_ID: 2
      KAFKA_PROCESS_ROLES: controller
      KAFKA_LISTENERS: CONTROLLER://:9093
      KAFKA_INTER_BROKER_LISTENER_NAME: PLAINTEXT
      KAFKA_CONTROLLER_LISTENER_NAMES: CONTROLLER
      KAFKA_CONTROLLER_QUORUM_VOTERS: 1@controller-1:9093,2@controller-2:9093,3@controller-3:9093
      KAFKA_GROUP_INITIAL_REBALANCE_DELAY_MS: 0

  controller-3:
    image: docker.xuanyuan.run/apache/kafka:latest
    container_name: controller-3
    environment:
      KAFKA_NODE_ID: 3
      KAFKA_PROCESS_ROLES: controller
      KAFKA_LISTENERS: CONTROLLER://:9093
      KAFKA_INTER_BROKER_LISTENER_NAME: PLAINTEXT
      KAFKA_CONTROLLER_LISTENER_NAMES: CONTROLLER
      KAFKA_CONTROLLER_QUORUM_VOTERS: 1@controller-1:9093,2@controller-2:9093,3@controller-3:9093
      KAFKA_GROUP_INITIAL_REBALANCE_DELAY_MS: 0

  broker-1:
    image: docker.xuanyuan.run/apache/kafka:latest
    container_name: broker-1
    ports:
      - 29092:9092
    environment:
      KAFKA_NODE_ID: 4
      KAFKA_PROCESS_ROLES: broker
      KAFKA_LISTENERS: 'PLAINTEXT://:19092,PLAINTEXT_HOST://:9092'
      KAFKA_ADVERTISED_LISTENERS: 'PLAINTEXT://broker-1:19092,PLAINTEXT_HOST://localhost:29092'
      KAFKA_INTER_BROKER_LISTENER_NAME: PLAINTEXT
      KAFKA_CONTROLLER_LISTENER_NAMES: CONTROLLER
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT,PLAINTEXT_HOST:PLAINTEXT
      KAFKA_CONTROLLER_QUORUM_VOTERS: 1@controller-1:9093,2@controller-2:9093,3@controller-3:9093
      KAFKA_GROUP_INITIAL_REBALANCE_DELAY_MS: 0
    depends_on:
      - controller-1
      - controller-2
      - controller-3

  broker-2:
    image: docker.xuanyuan.run/apache/kafka:latest
    container_name: broker-2
    ports:
      - 39092:9092
    environment:
      KAFKA_NODE_ID: 5
      KAFKA_PROCESS_ROLES: broker
      KAFKA_LISTENERS: 'PLAINTEXT://:19092,PLAINTEXT_HOST://:9092'
      KAFKA_ADVERTISED_LISTENERS: 'PLAINTEXT://broker-2:19092,PLAINTEXT_HOST://localhost:39092'
      KAFKA_INTER_BROKER_LISTENER_NAME: PLAINTEXT
      KAFKA_CONTROLLER_LISTENER_NAMES: CONTROLLER
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT,PLAINTEXT_HOST:PLAINTEXT
      KAFKA_CONTROLLER_QUORUM_VOTERS: 1@controller-1:9093,2@controller-2:9093,3@controller-3:9093
      KAFKA_GROUP_INITIAL_REBALANCE_DELAY_MS: 0
    depends_on:
      - controller-1
      - controller-2
      - controller-3

  broker-3:
    image: docker.xuanyuan.run/apache/kafka:latest
    container_name: broker-3
    ports:
      - 49092:9092
    environment:
      KAFKA_NODE_ID: 6
      KAFKA_PROCESS_ROLES: broker
      KAFKA_LISTENERS: 'PLAINTEXT://:19092,PLAINTEXT_HOST://:9092'
      KAFKA_ADVERTISED_LISTENERS: 'PLAINTEXT://broker-3:19092,PLAINTEXT_HOST://localhost:49092'
      KAFKA_INTER_BROKER_LISTENER_NAME: PLAINTEXT
      KAFKA_CONTROLLER_LISTENER_NAMES: CONTROLLER
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT,PLAINTEXT_HOST:PLAINTEXT
      KAFKA_CONTROLLER_QUORUM_VOTERS: 1@controller-1:9093,2@controller-2:9093,3@controller-3:9093
      KAFKA_GROUP_INITIAL_REBALANCE_DELAY_MS: 0
    depends_on:
      - controller-1
      - controller-2
      - controller-3

console
docker compose up -d

测试集群

从 Docker 内操作

进入任一 broker 容器：

console
docker exec --workdir /opt/kafka/bin/ -it broker-1 sh

执行以下命令创建主题、生产/消费消息：

console
./kafka-topics.sh --bootstrap-server broker-1:19092,broker-2:19092,broker-3:19092 --create --topic test-topic

console
./kafka-console-consumer.sh --bootstrap-server broker-1:19092,broker-2:19092,broker-3:19092 --topic test-topic --from-beginning

console
./kafka-console-producer.sh --bootstrap-server broker-1:19092,broker-2:19092,broker-3:19092 --topic test-topic

从主机操作

进入 Kafka 发行版的 bin 目录，执行：

console
./kafka-topics.sh --bootstrap-server localhost:29092,localhost:39092,localhost:49092 --create --topic test-topic2

console
./kafka-console-producer.sh --bootstrap-server localhost:29092,localhost:39092,localhost:49092 --topic test-topic2

console
./kafka-console-consumer.sh --bootstrap-server localhost:29092,localhost:39092,localhost:49092 --topic test-topic2 --from-beginning

停止集群

console
docker compose down

扩展资源

[Apache Kafka 官方文档]
[Kafka Streams 介绍] ：Kafka 的 JVM 流处理库
[Kafka Connect 介绍] ：配置式连接器框架，支持外部系统与 Kafka 间的数据传输
[Kafka 相关书籍与论文]
[流处理会议演讲幻灯片与录像]

部署与使用文档

(2 篇)

Docker 部署 Apache Kafka：轻松搭建分布式消息队列

Apache Kafka 是 Apache 软件基金会维护的开源分布式事件流平台（最初由 LinkedIn 开发并开源）。它把事件按主题（topic）落盘保存，生产者写入、消费者按消费组独立拉取；同一条流既能给实时告警用，也能给离线数仓、审计回放用——不是「取走就没」的一次性队列，而是可重放的日志型存储。能力覆盖高吞吐写入、分区扩展、多订阅者并存，以及对接 Kafka Connect（外部系统进出）、Kafka Streams（JVM 流处理）等生态；全球大量组织用它支撑日志收集、事件驱动微服务、CDC 缓冲与实时分析前置层。集群跑在你自己的 Docker / 机器上，段文件与元数据落在本地卷里——本机或内网客户端连上就能收发，不必把核心事件流绑死在某一家公有云 MQ。

阅读全文

Apache Kafka Docker 容器化部署指南

Apache Kafka是一个开源的分布式事件流平台，旨在高吞吐量、低延迟地处理实时数据流。它最初由LinkedIn开发，2011年开源，2012年成为Apache Software Foundation顶级项目。Kafka广泛应用于流处理、数据集成、发布/订阅消息传递等场景，全球数千家组织使用它来支持关键业务的实时应用。

阅读全文

apache/kafka 国内 Docker 镜像拉取说明

在国内网络环境下，直接使用 docker pull 访问 Docker Hub 官方仓库时，较常遇到连接超时、TLS 握手失败或 registry 响应缓慢等情况。这类问题多与跨境链路质量、运营商策略及客户端 DNS 解析有关，并非单个镜像本身异常。

轩辕镜像提供两种常用加速方式：一是使用公共加速域名 docker.xuanyuan.run 拉取（可参考登录认证方式）；二是在控制台配置专属域名拉取，将拉取命令中的 registry 前缀替换为分配的专属域名，通常能提升成功率与稳定性。

以 apache/kafka 为例，加速拉取命令格式为 docker pull docker.xuanyuan.run/apache/kafka:<标签>，请将 <标签> 替换为具体版本。下方「镜像拉取方式」区块提供与本文一致的命令示例，可直接复制使用。

镜像拉取方式

您可以使用以下命令拉取该镜像。请将 <标签> 替换为具体的标签版本。如需查看所有可用标签版本，请访问标签列表页面。

轩辕镜像加速拉取命令点我查看更多 kafka 镜像标签

docker pull docker.xuanyuan.run/apache/kafka:<标签>

使用方法：

DockerHub 原生拉取命令

docker pull apache/kafka:<标签>

轩辕镜像配置手册

按平台快速找到配置文档

一键安装

一键安装 Docker

Linux Docker 一键安装

AI

用 AI 使用轩辕镜像

agents.md · AI 对话 · 提示词

Docker

登录仓库拉取

登录认证 · 私有仓库

专属域名拉取

免登录 · 高速拉取

Linux

Docker 镜像配置

Windows / Mac

Docker Desktop 配置

MacOS OrbStack

OrbStack 容器

Apple Container

macOS 原生容器

Docker Compose

Compose 项目配置

NAS

群晖

Synology 配置

飞牛

fnOS 镜像配置

绿联

绿联 NAS

威联通

QNAP 配置

极空间

极空间 NAS

Unraid

Unraid NAS

企业仓库

其他仓库

ghcr · Quay · nvcr

Harbor 镜像源

Proxy Repository 对接

Portainer 镜像源

Registries 配置

Nexus 镜像源

Docker Proxy 缓存

开发工具

Dev Containers

VS Code 开发容器

Podman

Podman 配置指南

Singularity / Apptainer

HPC 科学计算容器

Kubernetes

K8s Containerd

Kubernetes · Containerd

K3s

轻量级集群

面板 / 网络

爱快路由

爱快 4.0 · iKuai 镜像加速

宝塔面板

一键配置镜像源

需要其他帮助？请查看我们的常见问题Docker 镜像访问常见问题解答或提交工单

镜像拉取常见问题

功能

版本功能对比

功能对比 · 版本选择

支持的镜像仓库

Docker Hub · GCR · GHCR

专属域名用法

专属域名 · 开启停用 · 多仓库

新手拉取配置

docker search 限制

专属域名 · Hub 搜索

不支持 push

仅支持 pull · 不支持

拉取速度原因

带宽 · 缓存 · 冷热镜像

错误码

402 与流量用尽

402 · 流量包 · 充值

401 认证失败

401 · docker login

manifest unknown

标签错误 · 镜像不存在

410 Gone 排查

410 · Docker 升级

429 限流

免费版 · 专业版 · 企业版 · 请求频率

其他报错

DNS 超时

DNS 解析 · 网络超时

TLS 证书失败

no matching manifest（架构）

docker.sock / daemon

账号

失败是否计费

manifest · blob · 计费

申请开票（企业 / 个人）

开票 · 发票 · 工单

修改登录密码

网站 · 仓库 · 重置

注销账户

工单 · 数据 · 注销

原理

mirrors 不生效

daemon.json · 重启

去掉域名前缀

docker tag · 重命名

指定架构拉取

ARM64 · AMD64 · 多架构

latest 与「最新」

digest · 版本号 · 标签

查看全部问题→

用户好评

来自真实用户的反馈，见证轩辕镜像的优质服务

oldzhang

运维工程师

Linux服务器

"Docker访问体验非常流畅，大镜像也能快速完成下载。"