pingcap/chaos-operator

pingcap chaos-operator 镜像文档

概述和主要用途

pingcap chaos-operator是基于Kubernetes Operator模式开发的混沌工程工具，旨在帮助用户在Kubernetes集群中进行可控的故障注入实验，以验证系统在异常条件下的稳定性和弹性。通过声明式API定义混沌实验，实现对K8s集群中各类资源（如Pod、网络、节点等）的故障注入和管理，是保障分布式系统可靠性的关键工具。

核心功能和特性

• 多类型故障注入：支持Pod故障（删除、重启）、网络故障（延迟、丢包、分区）、CPU/内存压力、节点故障等多种故障类型。
• Kubernetes原生集成：通过自定义资源定义（CRD）声明混沌实验，与K8s API无缝集成，支持kubectl等原生工具管理。
• 实验生命周期管理：提供实验的创建、启动、暂停、恢复、终止等完整生命周期控制，支持定时、循环等实验调度。
• 故障作用域控制：可精确指定故障影响范围（如特定命名空间、标签选择器匹配的Pod），避免全局影响。
• 实验记录与审计：记录实验执行过程和结果，支持日志输出和状态查询，便于实验复盘和问题定位。

使用场景和适用范围

• 分布式系统弹性测试：适用于TiDB、Kafka、Elasticsearch等分布式数据库或中间件，验证其在节点/Pod故障时的自动恢复能力。
• 微服务架构可靠性验证：测试微服务在服务依赖中断、网络延迟等场景下的容错能力和服务降级机制。
• Kubernetes集群稳定性测试：验证集群在节点故障、资源耗尽等情况下的调度和自愈能力。
• 上线前可靠性验证：在系统发布前通过混沌实验暴露潜在稳定性问题，降低生产环境故障风险。

使用方法和配置说明

部署准备

• Kubernetes集群版本要求：1.16+
• 集群需支持CRD（默认开启）
• 具备集群管理员权限（用于部署CRD和RBAC规则）

部署步骤

1. 部署CRD和Operator
   通过kubectl apply部署官方提供的部署清单：

   bash
   kubectl apply -f https://raw.githubusercontent.com/pingcap/chaos-operator/master/deploy/crd.yaml
   kubectl apply -f https://raw.githubusercontent.com/pingcap/chaos-operator/master/deploy/operator.yaml
   

2. 验证部署状态
   检查operator Pod是否正常运行：

   bash
   kubectl get pods -n chaos-testing
   # 预期输出类似：chaos-operator-xxxxxx-xxxx   1/1     Running   0          5m
   

配置混沌实验

通过创建ChaosExperiment自定义资源定义实验，以下是Pod删除故障的示例：

yaml
apiVersion: pingcap.com/v1alpha1
kind: ChaosExperiment
metadata:
  name: pod-delete-example
  namespace: chaos-testing
spec:
  target:
    kind: Pod
    selector:
      namespaces: ["default"]
      labelSelectors:
        app: my-app  # 匹配标签为app=my-app的Pod
  action:
    name: pod-delete
    params:
      count: 1  # 一次删除1个Pod
      duration: "30s"  # 故障持续时间
  scheduler:
    cron: "@every 2m"  # 每2分钟执行一次

应用上述配置：

bash
kubectl apply -f pod-delete-experiment.yaml -n chaos-testing

实验管理

• 查看实验列表：

  bash
  kubectl get chaosexperiments -n chaos-testing
  

• 查看实验详情：

  bash
  kubectl describe chaosexperiment pod-delete-example -n chaos-testing
  

• 终止实验：

  bash
  kubectl delete chaosexperiment pod-delete-example -n chaos-testing
  

环境变量配置

operator部署时可通过环境变量调整行为，常用配置如下：

• CHAOS_CONTROLLER_MANAGER_LOG_LEVEL：日志级别，默认info，可选debug、warn、error。
• CHAOS_CONTROLLER_MANAGER_RECONCILE_PERIOD：控制器调和周期，默认30s。
• CHAOS_METRICS_PORT： metrics暴露端口，默认8080。

注意事项

• 实验前需确保目标系统具备数据备份和恢复能力，避免不可逆数据丢失。
• 生产环境建议先在测试集群验证实验方案，再逐步在生产集群小范围试点。
• 部分故障类型（如节点故障）可能影响集群稳定性，需谨慎配置作用域和持续时间。