luckysideburn/kubeinvaders

kubeinvaders :space_invader: 又名 k-inv :joystick:

面向Kubernetes的游戏化混沌工程工具

该项目是https://landscape.cncf.io/%E6%99%AF%E8%A7%82%E4%B8%AD%E2%80%9C%E5%8F%AF%E8%A7%82%E6%B5%8B%E6%80%A7%E4%B8%8E%E5%88%86%E6%9E%90 - 混沌工程”类别的一部分。

• 可通过此链接体验演示：[***]
• 在此处监控Pod状态：[***]

由platformengineering.it和devopstribe.it团队提供支持，为Kubernetes基础设施提供企业级功能和认证弹性服务。

DevOpsTRibe博客中嵌入了演示版本，可直接试用该工具。

!Alt Text

此处为幻灯片，来自我为FOSDEM 2023准备的混沌工程演讲。遗憾的是我未能到场，但仍希望与社区分享这些内容。

目录

1. 描述
2. 安装
3. 使用方法
4. 混沌会话期间的URL监控
5. 持久化
6. 通用故障排除与已知问题
7. 未知命名空间故障排除
8. 指标
9. 安全
10. 社区
11. 社区博客与视频
12. 许可证

描述

通过k-inv，您可以以有趣的方式对K8s集群进行压力测试，验证其弹性和恢复能力。

安装

通过Docker或Podman运行

开始前，需从具有https://github.com/lucky-sideburn/kubeinvaders/blob/master/helm-charts/kubeinvaders/templates/rbac-cluster.yaml%E7%9A%84%E6%9C%8D%E5%8A%A1%E8%B4%A6%E6%88%B7%E8%8E%B7%E5%8F%96%E4%BB%A4%E7%89%8C%E3%80%82

示例

创建所需组件（假设K8s版本v1.24+）：

bash
cat << 'EOF' | kubectl apply -f -
apiVersion: v1
kind: Namespace
metadata:
  name: kubeinvaders
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: kinv-cr
rules:
  - apiGroups:
      - ""
    resources:
      - pods
      - pods/log
    verbs:
      - delete
  - apiGroups:
      - batch
      - extensions
    resources:
      - jobs
    verbs:
      - get
      - list
      - watch
      - create
      - update
      - patch
      - delete
  - apiGroups:
      - "*"
    resources:
      - "*"
    verbs:
      - get
      - watch
      - list
---
apiVersion: v1
kind: ServiceAccount
metadata:
  name: kinv-sa
  namespace: kubeinvaders
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: kinv-crb
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: kinv-cr
subjects:
  - kind: ServiceAccount
    name: kinv-sa
    namespace: kubeinvaders
---
apiVersion: v1
kind: Secret
type: kubernetes.io/service-account-token
metadata:
  name: kinv-sa-token
  namespace: kubeinvaders
  annotations:
    kubernetes.io/service-account.name: kinv-sa
EOF

提取令牌：

bash
TOKEN=$(k get secret -n kubeinvaders -o go-template='{{.data.token | base64decode}}' kinv-sa-token)

运行容器：

bash
podman run -p 3131:8080 \
--env K8S_TOKEN=$TOKEN \
--env ENDPOINT=localhost:3131 \
--env INSECURE_ENDPOINT=true \
--env KUBERNETES_SERVICE_HOST=10.10.10.4 \
--env KUBERNETES_SERVICE_PORT_HTTPS=6443 \
--env NAMESPACE=namespace1,namespace2 \
luckysideburn/kubeinvaders:latest

基于此示例，可通过以下地址访问k-inv：http://localhost:3131

• 注意命令中的“podman run -p 3131:8080”，转发8080端口至关重要。
• 建议在本地开发环境中使用INSECURE_ENDPOINT=true。
• 需按照上述步骤创建K8S_TOKEN所需的令牌。
• 示例中使用latest镜像标签，调试时可使用latest_debug。

参数说明

K8S_TOKEN

服务账户需具备以下权限，可参考https://github.com/lucky-sideburn/kubeinvaders/blob/master/helm-charts/kubeinvaders/templates/rbac-cluster.yaml%EF%BC%9A

• apiGroups: [""] resources: ["pods", "pods/log"] verbs: ["delete"]
• apiGroups: ["batch", "extensions"] resources: ["jobs"] verbs: ["get", "list", "watch", "create", "update", "patch", "delete"]
• apiGroups: [""] resources: [""] verbs: ["get", "watch", "list"]

ENDPOINT

Web控制台的主机和端口。

INSECURE_ENDPOINT

为Web控制台选择HTTP或HTTPS。

KUBERNETES_SERVICE_HOST

控制平面的IP地址或DNS名称。

KUBERNETES_SERVICE_PORT_HTTPS

目标控制平面的TCP端口。

NAMESPACE

需进行压力测试或查看日志的命名空间列表（日志为测试功能，可能无法工作或导致浏览器卡顿）。

bash
docker run -p 8080:8080 \
--env K8S_TOKEN=<k8s_service_account_token>  \
--env ENDPOINT=localhost:8080 \
--env INSECURE_ENDPOINT=true \
--env KUBERNETES_SERVICE_HOST=<k8s_controlplane_host> \
--env KUBERNETES_SERVICE_PORT_HTTPS=<k8s_controlplane_port> \
--env NAMESPACE=<需测试的命名空间列表，逗号分隔> \
docker.xuanyuan.run/luckysideburn/kubeinvaders:develop

使用Helm（v3+）安装到Kubernetes

如需测试用Kubernetes集群，可通过Make和Minikube搭建，参考此文档

https://img.shields.io/endpoint?url=https://artifacthub.io/badge/repository/kubeinvaders](https://artifacthub.io/packages/search?repo=kubeinvaders)

bash
helm repo add kubeinvaders https://lucky-sideburn.github.io/helm-charts/
helm repo update

kubectl create namespace kubeinvaders

helm install kubeinvaders --set-string config.target_namespace="namespace1\,namespace2" \
-n kubeinvaders kubeinvaders/kubeinvaders --set ingress.enabled=true --set ingress.hostName=kubeinvaders.io --set deployment.image.tag=latest

K3S示例

bash
curl -sfL https://get.k3s.io | INSTALL_K3S_EXEC="--disable traefik" sh -s -

cat >/tmp/ingress-nginx.yaml <<EOF
apiVersion: v1
kind: Namespace
metadata:
  name: ingress-nginx
---
apiVersion: helm.cattle.io/v1
kind: HelmChart
metadata:
  name: ingress-nginx
  namespace: kube-system
spec:
  chart: ingress-nginx
  repo: https://kubernetes.github.io/ingress-nginx
  targetNamespace: ingress-nginx
  version: v4.9.0
  set:
  valuesContent: |-
    fullnameOverride: ingress-nginx
    controller:
      kind: DaemonSet
      hostNetwork: true
      hostPort:
        enabled: true
      service:
        enabled: false
      publishService:
        enabled: false
      metrics:
        enabled: false
        serviceMonitor:
          enabled: false
      config:
        use-forwarded-headers: "true"
EOF

kubectl create -f /tmp/ingress-nginx.yaml

kubectl create ns namespace1
kubectl create ns namespace2

export KUBECONFIG=/etc/rancher/k3s/k3s.yaml

helm install kubeinvaders --set-string config.target_namespace="namespace1\,namespace2" \
-n kubeinvaders kubeinvaders/kubeinvaders --set ingress.enabled=true --set ingress.hostName=kubeinvaders.io --set deployment.image.tag=latest

使用Helm（v3+）安装到Kubernetes - Load*** / HTTP（已在GKE测试）

bash
helm install kubeinvaders --set-string config.target_namespace="namespace1\,namespace2" -n kubeinvaders kubeinvaders/kubeinvaders --set ingress.enabled=true --set ingress.hostName=kubeinvaders.local --set deployment.image.tag=latest --set service.type=LoadBalancer --set service.port=80

kubectl set env deployment/kubeinvaders INSECURE_ENDPOINT=true -n kubeinvaders

OpenShift的SCC配置

bash
oc adm policy add-scc-to-user anyuid -z kubeinvaders

OpenShift的Route配置

bash
apiVersion: route.openshift.io/v1
kind: Route
metadata:
  name: kubeinvaders
  namespace: "kubeinvaders"
spec:
  host: "kubeinvaders.io"
  to:
    name: kubeinvaders
  tls:
    termination: Edge

添加用于***的简单nginx Deployment

bash
cat >deployment.yaml <<EOF
apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx-deployment
spec:
  selector:
    matchLabels:
      app: nginx
  replicas: 20 # 告诉Deployment运行20个匹配模板的Pod
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
      - name: nginx
        image: docker.xuanyuan.run/nginx:1.24.0
        ports:
        - containerPort: 81
EOF

在namespace1和namespace2中应用Nginx Deployment：

bash
sudo kubectl apply -f deployment.yaml -n namespace1
sudo kubectl apply -f deployment.yaml -n namespace2

使用方法

顶部将显示以下指标：

!Alt Text

当前副本状态延迟：表示集群恢复到期望Pod副本状态所需的时间。

控制平面可用于启用/禁用各种功能：

!Alt Text

启动混沌实验

点击“Start”按钮启动自动模式（按钮将变为“Stop”以禁用该功能）。

启用洗牌 :joystick:

点击“Enable Shuffle”按钮随机重排Pod或K8s节点的位置（按钮将变为“Disable Shuffle”以停用）。

启用命名空间自动切换 :joystick:

点击“Auto NS Switch”按钮随机切换命名空间（按钮将变为“Disable Auto NS Switch”以停用）。

显示/隐藏Pod名称 :joystick:

点击“Hide Pods Name”按钮隐藏外星人下方的Pod名称（按钮将变为“Show Pods Name”以显示）。

当前状态与事件信息 :joystick:

游戏屏幕中飞船附近将显示当前集群、命名空间及配置详情：

!Alt Text

+/-按钮下方将显示最新游戏事件的进度条：

!Alt Text

显示特殊按键 :joystick:

按“h”或从菜单中选择“Show Special Keys”。

缩放 :joystick:

按+/-按钮放大或缩小游戏屏幕。

控制平面和工作节点的混沌容器

• 从菜单中选择“Show Current Chaos Container for Nodes”，查看***工作节点（非外星人，外星人代表Pod）时启动的容器。
• 从菜单中选择“Set Custom Chaos Container for Nodes”，可使用自定义镜像或配置针对节点进行混沌测试。

混沌会话期间的URL监控

在混沌工程会话中，可监控Ingress暴露的HTTP调用行为。

使用“Add HTTP check & Chaos Report”标志并添加需监控的URL：

!Alt Text

实验期间可查看实时图表：

!Alt Text

持久化

K-inv使用Redis存储和管理数据，Redis配置为“appendonly”模式。

目前Helm图表暂不支持PersistentVolumes，该功能已在开发计划中。

通用故障排除与已知问题

• KubeInvaders似乎因ServiceAccount问题无法在EKS上运行。
• 目前不支持将KubeInvaders安装到非“kubeinvaders”命名空间。
• 仅在通过KubeSpray安装的Kubernetes集群上测试过该工具。
• 若未显示外星人，请执行以下步骤：
  1. 打开终端，运行“kubectl logs <kubeinvader_pod_name> -n kubeinvaders -f”
  2. 在另一个终端执行命令：curl "https://<kubeinvaders_url>/kube/pods?action=list&namespace=namespace1" -k
  3. 附上日志提交issue。

未知命名空间故障排除

• 检查通过helm config.target_namespace声明的命名空间（如config.target_namespace="namespace1,namespace2"）是否存在且包含Pod。
• 检查浏览器开发者控制台中的失败HTTP请求（发送至luckysideburn[at]gmail[dot]com或提交issue）。
• 尝试使用latest_debug镜像并发送日志至luckysideburn[at]gmail[dot]com或提交issue。

Prometheus指标

KubeInvaders通过标准端点/metrics暴露Prometheus指标。

Prometheus配置示例：

bash
scrape_configs:
- job_name: kubeinvaders
  static_configs:
  - targets:
    - kubeinvaders.kubeinvaders.svc.cluster.local:8080

指标示例：

下载Grafana仪表板

!Alt Text

!Alt Text

安全

如需限制对Kubeinvaders端点的访问，可在ingress中添加以下注解：

yaml
nginx.ingress.kubernetes.io/whitelist-source-range: <your_ip>/32

社区

如需获取最新动态、报告漏洞、提出功能请求或其他问题，可通过以下方式联系：

• ***：@kubeinvaders 及 @luckysideburn
• 新功能将在***频道此处发布。

社区博客与视频

• Kubernetes生态系统就像糖果店
• AdaCon挪威直播
• LILiS - 2023年贝内文托Linux日
• Kubernetes.io博客：https://kubernetes.io/blog/2020/01/22/kubeinvaders-gamified-chaos-engineering-tool-for-kubernetes/
• acloudguru：cncf-state-of-the-union
• DevNation RedHat开发者：***
• Flant：[Kubernetes混沌工程开源解决方案]([***]