redpandadata/redpanda-operator

Redpanda Operator 镜像文档

1. 镜像概述和主要用途

1.1 概述

Redpanda Operator 是 Redpanda 官方提供的 Kubernetes Operator，用于在 Kubernetes 集群中自动化管理 Redpanda 集群的全生命周期。该 Operator 基于 https://github.com/kubernetes-sigs/kubebuilder 框架构建，通过 Kubernetes CustomResourceDefinition (CRD) 提供声明式 API，简化 Redpanda 集群的部署、配置、扩展和维护流程。

1.2 主要用途

• 自动化 Redpanda 集群在 Kubernetes 中的部署与初始化
• 管理集群的水平扩展、缩容及节点替换
• 处理 Redpanda 版本升级与配置更新
• 监控集群健康状态，实现故障自愈
• 简化 Redpanda 集群的日常运维操作

2. 核心功能和特性

2.1 核心功能

• 声明式集群管理：通过自定义资源（CR）定义 Redpanda 集群期望状态，Operator 自动协调实际状态与期望状态
• 全生命周期支持：覆盖集群部署、升级、扩缩容、备份恢复等全生命周期操作
• 自愈能力：实时监控集群健康，自动检测并替换故障节点，保障服务可用性
• 配置集中管理：支持通过 CR 统一配置 Redpanda 集群参数，支持动态配置更新

2.2 关键特性

• Kubernetes 原生集成：深度利用 Kubernetes 调度、存储、网络能力，符合云原生架构
• Redpanda 核心优势：
  • Kafka 兼容：无需修改代码即可使用现有 Kafka 客户端、工具及生态系统
  • 无依赖架构：移除 Zookeeper 和 JVM 依赖，简化部署架构，降低资源消耗
  • 高性能：处理速度比传统流处理平台快 10 倍，适合高吞吐量场景
• 可扩展性：支持多集群管理，适配不同规模的业务需求

3. 使用场景和适用范围

3.1 适用场景

• 关键任务流处理：***交易、实时监控、日志聚合等对低延迟和可靠性有高要求的场景
• Kafka 迁移替代：需消除 Zookeeper 依赖、简化架构的 Kafka 用户
• 云原生环境部署：在 Kubernetes（EKS/GKE/AKS 等）中构建流处理平台
• 微服务事件总线：作为微服务间异步通信的核心组件，支撑事件驱动架构
• 实时数据分析：对接 Flink、Spark Streaming 等框架，提供高吞吐数据源

3.2 适用范围

• Kubernetes 版本：需兼容 kubebuilder 支持版本（推荐 Kubernetes 1.21+）
• 资源要求：根据集群规模配置 CPU/内存/存储资源（单节点最小要求：2 CPU 核、4Gi 内存、50Gi 存储）
• 网络环境：支持 Kubernetes 网络策略，需确保集群内 Pod 间通信畅通

4. 使用方法和配置说明

4.1 部署 Redpanda Operator

4.1.1 通过 Helm 部署（推荐）

bash
# 添加 Redpanda Helm 仓库
helm repo add redpanda https://charts.redpanda.com
helm repo update

# 安装 Operator（指定命名空间）
helm install redpanda-operator redpanda/redpanda-operator \
  --namespace redpanda-operator \
  --create-namespace

4.1.2 通过 kubectl 手动部署

bash
# 应用 CRD
kubectl apply -f https://raw.githubusercontent.com/redpanda-data/redpanda-operator/main/config/crd/bases/redpanda.vectorized.io_redpandas.yaml

# 部署 Operator 控制器
kubectl apply -f https://raw.githubusercontent.com/redpanda-data/redpanda-operator/main/config/manager/manager.yaml -n redpanda-operator

4.2 创建 Redpanda 集群

创建 Redpanda 自定义资源（CR）定义集群配置，示例 redpanda-cluster.yaml：

yaml
apiVersion: redpanda.vectorized.io/v1alpha1
kind: Redpanda
metadata:
  name: redpanda-cluster
  namespace: redpanda
spec:
  clusterSpec:
    replicas: 3  # 3节点集群
    resources:
      requests:
        cpu: 2
        memory: 4Gi
      limits:
        cpu: 4
        memory: 8Gi
    storage:
      persistentVolumeClaim:
        spec:
          accessModes: ["ReadWriteOnce"]
          resources:
            requests:
              storage: 100Gi  # 每个节点100Gi存储
    configuration:
      kafkaApi:
        - port: 9092  # Kafka API端口
      adminApi:
        - port: 9644  # 管理API端口

应用 CR 创建集群：

bash
kubectl apply -f redpanda-cluster.yaml -n redpanda

4.3 核心配置参数说明

Redpanda CR 的主要配置参数如下（详细参数见 官方文档）：

4.4 Operator 环境变量配置

部署 Operator 时可通过环境变量调整行为，常用变量：

5. 参考链接

• https://github.com/redpanda-data/redpanda-operator
• Redpanda 官方文档
• kubebuilder 文档