ayushsobti/kube-monkey

kube-monkey

镜像概述和主要用途

kube-monkey是Netflix Chaos Monkey在Kubernetes（k8s）集群的实现，通过随机删除集群中的Pod，鼓励和验证故障弹性服务的开发。它在预配置的工作日时间运行，生成当日Pod终止计划，帮助测试服务在Pod故障时的恢复能力。

核心功能和特性

1. Opt-in机制

仅对明确选择加入的K8s应用执行Pod终止，通过设置以下标签实现：

• kube-monkey/enabled: 设为"enabled"以选择加入
• kube-monkey/mtbf: 平均故障间隔（天），如"3"表示约每3个工作日终止一次Pod
• kube-monkey/identifier: 应用唯一标识，用于关联Pod（建议设为应用名）
• kube-monkey/kill-mode: 终止模式，支持：
  • "kill-all": 终止所有Pod（无论状态）
  • "fixed": 终止指定数量的运行Pod（需配合kill-value）
  • "random-max-percent": 终止运行Pod的随机百分比（上限由kill-value指定）
  • "fixed-percent": 终止运行Pod的固定百分比（由kill-value指定）
• kube-monkey/kill-value: 配合kill-mode的值，整数（fixed）或0-100的百分比（random-max-percent/fixed-percent）

2. 灵活的时间配置

• run_hour: 每日调度时间（默认8点，仅工作日）
• start_hour/end_hour: 终止时间范围（默认10点-16点）
• 支持时区配置（time_zone）

3. 命名空间过滤

• 可配置命名空间黑名单（blacklisted_namespaces），默认包含kube-system
• 设为[""]可禁用黑名单

4. 调试与安全特性

• 干运行模式（dry_run）：仅记录终止计划，不实际执行
• 调试模式：启用后可立即执行终止（schedule_immediate_kill）

使用场景和适用范围

适用于Kubernetes集群的混沌工程测试，验证微服务、分布式系统在Pod故障时的弹性和恢复能力，尤其适合：

• 开发环境中的故障注入测试
• 持续集成/持续部署（CI/CD）流程中的韧性验证
• 生产前环境的稳定性测试

详细使用方法和配置说明

配置方式

kube-monkey通过/etc/kube-monkey/config.toml文件或环境变量配置，配置项包括：

config.toml示例

toml
[kubemonkey]
dry_run = true                           # 仅记录终止计划
run_hour = 8                             # 8点调度
start_hour = 10                          # 终止开始时间10点
end_hour = 16                            # 终止结束时间16点
blacklisted_namespaces = ["kube-system"] # 黑名单命名空间
time_zone = "America/New_York"           # 时区

[debug]
enabled = true                           # 启用调试模式
schedule_immediate_kill = true           # 立即执行终止

环境变量示例

bash
KUBEMONKEY_DRY_RUN=true
KUBEMONKEY_RUN_HOUR=8
KUBEMONKEY_START_HOUR=10
KUBEMONKEY_END_HOUR=16
KUBEMONKEY_BLACKLISTED_NAMESPACES=kube-system
KUBEMONKEY_TIME_ZONE=America/New_York

部署方法

手动部署

1. 创建ConfigMap（以kube-system命名空间为例）：

   bash
   kubectl create configmap kube-monkey-config-map --from-file=config.toml=km-config.toml -n kube-system
   

2. 部署kube-monkey（示例Deployment）：

   yaml
   apiVersion: apps/v1
   kind: Deployment
   metadata:
     name: kube-monkey
     namespace: kube-system
   spec:
     replicas: 1
     selector:
       matchLabels:
         app: kube-monkey
     template:
       metadata:
         labels:
           app: kube-monkey
       spec:
         containers:
         - name: kube-monkey
           image: ayushsobti/kube-monkey:latest
           volumeMounts:
           - name: config-volume
             mountPath: /etc/kube-monkey
         volumes:
         - name: config-volume
           configMap:
             name: kube-monkey-config-map
   

3. 查看日志：

   bash
   kubectl logs -f deployment/kube-monkey -n kube-system
   

Helm部署

1. 编辑Helm chart的values.yaml，设置image.repository（默认ayushsobti/kube-monkey）
2. 安装Helm chart：

   bash
   helm install --name kube-monkey helm/kubemonkey
   

应用配置示例（选择加入）

以下是启用kube-monkey的Deployment示例，配置为每2个工作日终止1个Pod：

yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: monkey-victim
  namespace: app-namespace
  labels:
    kube-monkey/enabled: enabled
    kube-monkey/identifier: monkey-victim
    kube-monkey/mtbf: '2'
    kube-monkey/kill-mode: "fixed"
    kube-monkey/kill-value: '1'
spec:
  replicas: 3
  selector:
    matchLabels:
      kube-monkey/identifier: monkey-victim
  template:
    metadata:
      labels:
        kube-monkey/enabled: enabled
        kube-monkey/identifier: monkey-victim
    spec:
      containers:
      - name: victim-app
        image: nginx:alpine

工作原理

调度阶段（每日run_hour）

1. 生成符合条件的应用列表（已opt-in、不在黑名单）
2. 根据mtbf计算应用当日是否被选中（如mtbf=3则约3个工作日选中一次）
3. 为选中的应用随机生成终止时间（在start_hour和end_hour之间）

终止阶段（调度的终止时间）

1. 验证应用仍符合条件（未取消opt-in、不在黑名单）
2. 更新并应用最新的kill-mode和kill-value
3. 按配置执行Pod终止

兼容性

基于kubernetes/client-go v7.0构建，参考https://github.com/kubernetes/client-go#compatibility-matrix%E7%A1%AE%E8%AE%A4%E6%94%AF%E6%8C%81%E7%9A%84Kubernetes%E7%89%88%E6%9C%AC%E3%80%82

镜像获取

Docker镜像可在https://hub.docker.com/r/ayushsobti/kube-monkey/tags/%E8%8E%B7%E5%8F%96%E3%80%82