apache/rocketmq-operator

Apache RocketMQ Operator 文档

概述

Apache RocketMQ Operator是一个基于Kubernetes Operator模式构建的工具，旨在简化Apache RocketMQ集群在Kubernetes环境中的部署、管理和全生命周期运维。通过自定义资源定义（CRD）和控制器，Operator能够自动化处理RocketMQ集群的创建、配置、扩缩容、升级和故障恢复等操作，降低人工运维成本，提高集群可靠性。

核心功能与特性

• 自动化集群部署：支持一键部署RocketMQ完整集群，包括NameServer、Broker（支持主从架构）、Console等核心组件，无需手动配置复杂依赖关系。
• 动态扩缩容：可通过修改CRD配置实现Broker节点的动态扩缩容，满足业务流量变化需求，扩缩过程不影响集群可用性。
• 配置管理：支持通过CRD定义集群参数（如存储大小、资源限制、网络策略等），配置变更自动生效，简化配置维护。
• 健康检查与自愈：内置健康检查机制，实时监控集群组件状态，当检测到故障节点时自动重启或迁移，保障集群高可用。
• 版本升级：支持RocketMQ集群的平滑版本升级，避免业务中断。
• 存储灵活配置：支持多种存储类型（如本地存储、PVC），可根据需求配置持久化存储策略。

使用场景与适用范围

Apache RocketMQ Operator适用于需要在Kubernetes环境中构建高可用、可扩展消息系统的场景，主要包括：

• 云原生应用架构：作为微服务架构中的消息通信中枢，支持服务间异步通信、流量削峰、解耦等场景。
• 企业级消息系统：满足***、电商、物流等行业对消息可靠性、低延迟、高吞吐的需求。
• 自动化运维需求：减少人工干预，适用于需要频繁调整集群规模或进行版本迭代的业务场景。
• Kubernetes生态集成：与Prometheus、Grafana等监控工具集成，提供完善的集群监控能力。

使用方法与配置说明

前提条件

• Kubernetes集群版本 ≥ 1.16（支持CRD v1）
• kubectl命令行工具已配置并有权限操作集群
• 集群中已部署StorageClass（用于持久化存储，可选）

部署Operator

1. 安装CRD

   创建RocketMQ Operator的自定义资源定义：

   bash
   kubectl apply -f https://raw.githubusercontent.com/apache/rocketmq-operator/master/deploy/crds/rocketmq.apache.org_rocketmqclusters.yaml
   kubectl apply -f https://raw.githubusercontent.com/apache/rocketmq-operator/master/deploy/crds/rocketmq.apache.org_brokers.yaml
   kubectl apply -f https://raw.githubusercontent.com/apache/rocketmq-operator/master/deploy/crds/rocketmq.apache.org_nameservers.yaml
   

2. 部署Operator控制器

   部署Operator控制器到rocketmq-operator命名空间：

   bash
   kubectl create namespace rocketmq-operator
   kubectl apply -f https://raw.githubusercontent.com/apache/rocketmq-operator/master/deploy/operator.yaml -n rocketmq-operator
   

3. 验证Operator部署

   检查Operator Pod状态：

   bash
   kubectl get pods -n rocketmq-operator
   

   预期输出类似：

   NAME                                READY   STATUS    RESTARTS   AGE
   rocketmq-operator-7f9b6c7f9c-xyz   1/1     Running   0          5m
   

创建RocketMQ集群

通过创建RocketMQCluster自定义资源部署RocketMQ集群，示例配置（rocketmq-cluster.yaml）：

yaml
apiVersion: rocketmq.apache.org/v1alpha1
kind: RocketMQCluster
metadata:
  name: example-rocketmq
  namespace: rocketmq
spec:
  nameServer:
    replicas: 2  # NameServer副本数
    image: apache/rocketmq-namesrv:4.9.4  # NameServer镜像
    resources:
      requests:
        memory: "512Mi"
        cpu: "500m"
      limits:
        memory: "1Gi"
        cpu: "1000m"
    storageMode: PersistentVolume  # 存储模式，可选PersistentVolume/EmptyDir
    storageSize: "10Gi"  # 存储大小，仅PersistentVolume模式生效

  broker:
    replicas: 2  # Broker副本数（每个副本包含1主1从）
    image: apache/rocketmq-broker:4.9.4  # Broker镜像
    resources:
      requests:
        memory: "2Gi"
        cpu: "1000m"
      limits:
        memory: "4Gi"
        cpu: "2000m"
    storageMode: PersistentVolume
    storageSize: "100Gi"
    brokerClusterName: "DefaultCluster"  # Broker集群名称
    brokerRole: ASYNC_MASTER  # Broker角色，可选ASYNC_MASTER/SYNC_MASTER
    deleteWhen: "04"  # 消息删除时间点
    fileReservedTime: 48  # 消息保留时间（小时）

应用配置：

bash
kubectl create namespace rocketmq
kubectl apply -f rocketmq-cluster.yaml -n rocketmq

查看集群状态

检查集群组件状态：

bash
# 查看NameServer Pod
kubectl get pods -n rocketmq -l app=nameserver

# 查看Broker Pod
kubectl get pods -n rocketmq -l app=broker

# 查看Service
kubectl get svc -n rocketmq

动态扩缩容

修改RocketMQCluster资源的broker.replicas字段实现Broker扩缩容：

bash
kubectl edit rocketmqcluster example-rocketmq -n rocketmq

将spec.broker.replicas从2修改为3，保存后Operator会自动创建新的Broker节点。

配置参数说明

RocketMQCluster CRD的主要配置参数说明：

注意事项

• 确保Kubernetes集群版本≥1.16，否则CRD可能无法正常创建。
• 持久化存储需提前配置StorageClass，否则PVC可能处于Pending状态。
• 生产环境中建议设置合理的资源限制（resources.limits），避免资源竞争。
• 升级Operator或RocketMQ版本前，建议备份集群数据及配置。