Redpanda (不稳定版本) Docker 镜像文档

1. 镜像概述和主要用途

Redpanda 是一个兼容 Apache Kafka® API 的高性能流数据平台，采用 C++ 构建，具备低延迟、高吞吐量和简化运维的特性。本镜像包含 Redpanda 的不稳定版本（Unstable releases），主要用于开发测试、新功能验证及实验性场景，不推荐用于生产环境。

2. 核心功能和特性

2.1 基础特性

• Kafka API 兼容：支持 Kafka 协议（0.10+），可无缝替换 Kafka 集群。
• 高性能：基于自研存储引擎，支持百万级消息/秒吞吐量，微秒级延迟。
• 简化运维：无 ZooKeeper 依赖，单进程架构，内置监控指标（Prometheus 兼容）。
• 数据持久化：支持本地磁盘或云存储（如 S3）的数据持久化。

2.2 不稳定版本特有特性

• 实验性功能：包含未正式发布的新功能（如增强型事务支持、新存储引擎优化等）。
• 最新修复：集成最新 bug 修复，可能尚未经过充分验证。
• API 预览：提供未来版本 API 的提前试用，可能存在兼容性变化。

3. 使用场景和适用范围

适用场景

• 开发测试：验证应用程序与 Redpanda 新功能的兼容性。
• 功能验证：评估实验性特性对业务场景的价值。
• 性能测试：测试新优化在特定负载下的表现。
• 社区贡献：为 Redpanda 开源项目贡献代码时的本地调试环境。

不适用场景

• 生产环境：不稳定版本可能存在未修复的 bug，数据可靠性和服务稳定性无法保证。
• 关键业务系统：涉及核心业务数据处理的场景需使用稳定版本。

4. 使用方法和配置说明

4.1 镜像拉取

从 Redpanda 官方仓库拉取最新不稳定版本镜像：

docker pull redpandadata/redpanda:unstable

4.2 基本运行（单节点）

4.2.1 最小化启动

docker run -d \
  --name redpanda-unstable \
  -p 9092:9092 \  # Kafka API 端口
  -p 8081:8081 \  # Admin API 端口
  -p 9644:9644 \  # Prometheus 监控端口
  redpandadata/redpanda:unstable \
  redpanda start \
    --overprovisioned \  # 开发模式：自动分配资源（仅测试用）
    --smp 1 \           # CPU 核心数（根据宿主机调整）
    --memory 1G \       # 内存限制（根据宿主机调整）
    --node-id 0 \       # 节点 ID（单节点固定为 0）
    --advertise-kafka-addr PLAINTEXT://localhost:9092 \  # 客户端访问地址
    --advertise-admin-addr http://localhost:8081         # Admin API 访问地址

4.2.2 验证运行状态

通过 Admin API 检查节点状态：

curl http://localhost:8081/v1/brokers

预期返回单节点信息（node_id: 0）。

4.3 Docker Compose 配置（多节点测试集群）

创建 docker-compose.yml 配置多节点集群（适合测试分布式特性）：

version: '3.8'
services:
  redpanda-1:
    image: redpandadata/redpanda:unstable
    container_name: redpanda-1
    ports:
      - "9092:9092"   # Kafka API
      - "8081:8081"   # Admin API
      - "9644:9644"   # Prometheus
    command:
      - redpanda
      - start
      - --overprovisioned
      - --smp 1
      - --memory 1G
      - --node-id 1
      - --advertise-kafka-addr PLAINTEXT://redpanda-1:29092,PLAINTEXT://localhost:9092
      - --advertise-admin-addr http://redpanda-1:9644,http://localhost:8081
      - --seeds redpanda-1:33145  # 集群种子节点（单节点时为自身）
    volumes:
      - redpanda-1-data:/var/lib/redpanda/data

  redpanda-2:
    image: redpandadata/redpanda:unstable
    container_name: redpanda-2
    ports:
      - "9093:9092"   # Kafka API（宿主机端口映射）
      - "8082:8081"   # Admin API
    command:
      - redpanda
      - start
      - --overprovisioned
      - --smp 1
      - --memory 1G
      - --node-id 2
      - --advertise-kafka-addr PLAINTEXT://redpanda-2:29092,PLAINTEXT://localhost:9093
      - --advertise-admin-addr http://redpanda-2:9644,http://localhost:8082
      - --seeds redpanda-1:33145  # 连接到集群种子节点
    volumes:
      - redpanda-2-data:/var/lib/redpanda/data

volumes:
  redpanda-1-data:
  redpanda-2-data:

启动集群：

docker-compose up -d

4.4 环境变量配置

通过环境变量自定义 Redpanda 行为，常用变量如下：

示例：通过环境变量启动节点

docker run -d \
  --name redpanda-env \
  -e REDPANDA_NODE_ID=1 \
  -e REDPANDA_LOG_LEVEL=debug \
  -e REDPANDA_ADVERTISE_KAFKA_API=PLAINTEXT://192.168.1.100:9092 \
  -p 9092:9092 \
  redpandadata/redpanda:unstable \
  redpanda start --overprovisioned

4.5 配置文件挂载

对于复杂配置，可通过挂载自定义配置文件（redpanda.yaml）覆盖默认配置：

1. 本地创建配置文件（示例路径：./redpanda.yaml）：

node_id: 1
data_directory: /var/lib/redpanda/data
kafka_api:
  - address: 0.0.0.0
    port: 9092
    advertise_address: 192.168.1.100:9092
admin_api:
  - address: 0.0.0.0
    port: 8081
    advertise_address: 192.168.1.100:8081
seed_servers:
  - host: redpanda-1
    port: 33145
log_level: debug

2. 挂载配置文件启动：

docker run -d \
  --name redpanda-custom-config \
  -v $(pwd)/redpanda.yaml:/etc/redpanda/redpanda.yaml \  # 挂载配置文件
  -p 9092:9092 \
  -p 8081:8081 \
  redpandadata/redpanda:unstable \
  redpanda start --config /etc/redpanda/redpanda.yaml  # 指定配置文件路径

4.6 端口映射

Redpanda 常用端口及用途：

4.7 基本操作示例

4.7.1 创建主题

进入容器并使用 rpk（Redpanda CLI）创建主题：

# 进入容器
docker exec -it redpanda-unstable bash

# 创建主题（3 分区，1 副本）
rpk topic create test-topic -p 3 -r 1

# 查看主题列表
rpk topic list

4.7.2 生产/消费消息

# 生产消息（从标准输入）
rpk topic produce test-topic

# 消费消息（从头开始）
rpk topic consume test-topic --from-beginning

5. 注意事项

1. 数据备份：不稳定版本可能存在数据损坏风险，重要测试数据需定期备份。
2. 版本更新：不稳定版本迭代频繁，建议定期拉取最新镜像以获取修复。
3. 资源限制：开发环境中建议限制 CPU/内存资源（如 --memory=2G --cpus=2），避免过度占用宿主机资源。
4. 兼容性：实验性功能可能在后续版本中删除或修改，请勿依赖其长期稳定性。
5. 问题反馈：使用中遇到的 bug 可提交至 Redpanda GitHub Issues。