naaga/gke-node-optimizer

gke-node-optimizer

![PRs Welcome]([***]

镜像概述和主要用途

gke-node-optimizer是一个CLI工具，旨在优化Google Kubernetes Engine (GKE)集群中的抢占式和按需节点，通过智能管理节点资源提升抢占式节点利用率，从而降低集群运行成本。该工具可自动处理抢占式节点的生命周期管理和按需节点的资源优化，并生成节点状态和优化结果报告。

Docker镜像已发布至Docker Hub：https://hub.docker.com/r/naaga/gke-node-optimizer

核心功能和特性

• 抢占式节点重启：自动重启长时间运行的抢占式节点，以规避抢占式实例的运行时长限制
• 按需节点排空：当存在可缩减的按需节点时，自动排空Pod数量最少的按需节点
• 优化报告：生成节点状态和优化结果报告，支持通过Slack发送通知
• 灵活配置：支持通过环境变量自定义优化策略，如最小抢占式节点数量、优化开关等

使用场景和适用范围

适用于运行在GKE上且希望通过利用抢占式节点降低成本的集群环境。特别适合：

• 包含 fault-tolerant（容错）工作负载的集群
• 需要平衡成本与可用性的生产环境
• 存在混合使用抢占式和按需节点的集群

环境变量配置

该CLI工具通过以下环境变量进行配置：

使用示例

以下示例假设所有Pod的资源请求总和可由18个节点满足，且非容错Pod的资源请求总和可由3个节点满足。

集群设置

创建包含三种节点池类型的区域性GKE集群：

1. default-pool：按需实例节点池，每个可用区固定运行1个节点
2. preemptible-pool：抢占式实例节点池，通过自动扩缩器控制每个可用区5-6个节点
3. ondemand-pool：按需实例节点池，通过自动扩缩器控制每个可用区0-6个节点

节点池用途：

• default-pool：用于非容错Pod或重要Pod
• preemptible-pool：用于容错Pod或非重要Pod
• ondemand-pool：在preemptible-pool不可用时使用

创建集群和默认节点池：

shell
$ gcloud config set project my-project
$ gcloud container clusters create my-cluster --region=asia-east1 --num-nodes=1 --enable-ip-alias

创建抢占式和按需节点池： 由于优化过程中目标节点可能暂时不可用，将最大节点数配置为每个可用区6个：

shell
$ gcloud container node-pools create preemptible-pool --cluster my-cluster --region=asia-east1 --enable-autoscaling --min-nodes=5 --max-nodes=6 --preemptible
$ gcloud container node-pools create ondemand-pool --cluster my-cluster --region=asia-east1 --enable-autoscaling --min-nodes=0 --max-nodes=6

创建后，自动扩缩器会调整节点数量。正常情况下，default-pool管理3个节点，preemptible-pool管理15个节点。

优先级类设置

创建四个优先级类，用于Pod调度优先级控制：

shell
$ cat << EOS | kubectl apply -f -
apiVersion: scheduling.k8s.io/v1
kind: PriorityClass
metadata:
  name: high-priority
value: 100
globalDefault: false
description: "此优先级类仅用于高优先级服务Pod。"

---

apiVersion: scheduling.k8s.io/v1
kind: PriorityClass
metadata:
  name: middle-priority
value: 50
globalDefault: false
description: "此优先级类仅用于中优先级服务Pod。"

---

apiVersion: scheduling.k8s.io/v1
kind: PriorityClass
metadata:
  name: default-priority
value: 25
globalDefault: true
description: "此优先级类将用作所有服务Pod的默认值。"

---

apiVersion: scheduling.k8s.io/v1
kind: PriorityClass
metadata:
  name: low-priority
value: 0
globalDefault: false
description: "此优先级类仅用于低优先级服务Pod。"
EOS

应用配置

Pod中断预算： 设置Pod中断预算，避免多个Pod同时不可用：

shell
$ cat << EOS | kubectl apply -f -
apiVersion: policy/v1beta1
kind: PodDisruptionBudget
metadata:
  name: my-pod
spec:
  maxUnavailable: 50%
  selector:
    matchLabels:
      name: my-pod
EOS

资源控制、优先级类和节点亲和性配置：

1. 所有Pod设置资源控制：

yaml
kind: Deployment
spec:
  template:
    spec:
      containers:
        - name: my-pod
          resources:
            limits:
              cpu: "50m"
              memory: "128Mi"
            requests:
              cpu: "50m"
              memory: "128Mi"

2. 容错或非重要Pod（调度至preemptible-pool）：

yaml
kind: Deployment
spec:
  template:
    spec:
      priorityClassName: low-priority # 非重要Pod
      affinity:
        nodeAffinity:
          preferredDuringSchedulingIgnoredDuringExecution:
            - weight: 100
              preference:
                matchExpressions:
                  - key: cloud.google.com/gke-nodepool
                    operator: In
                    values:
                      - preemptible-pool

3. 需要优雅关闭的容错Pod（调度至default-pool或ondemand-pool）：

yaml
kind: Deployment
spec:
  template:
    spec:
      priorityClassName: middle-priority
      affinity:
        nodeAffinity:
          requiredDuringSchedulingIgnoredDuringExecution:
            nodeSelectorTerms:
              - matchExpressions:
                  - key: cloud.google.com/gke-nodepool
                    operator: NotIn
                    values:
                      - preemptible-pool
          preferredDuringSchedulingIgnoredDuringExecution:
            - weight: 100
              preference:
                matchExpressions:
                  - key: cloud.google.com/gke-nodepool
                    operator: In
                    values:
                      - default-pool

4. 非容错或重要Pod（调度至default-pool）：

yaml
kind: Deployment
spec:
  template:
    spec:
      priorityClassName: high-priority
      affinity:
        nodeAffinity:
          requiredDuringSchedulingIgnoredDuringExecution:
            nodeSelectorTerms:
              - matchExpressions:
                - key: cloud.google.com/gke-nodepool
                  operator: In
                  values:
                    - default-pool

优化器设置

通过CronJob运行CLI工具。以下示例配置每小时运行一次：

shell
$ cat << EOS | kubectl apply -f -
apiVersion: batch/v1beta1
kind: CronJob
metadata:
  name: gke-node-optimizer
  labels:
    name: gke-node-optimizer
spec:
  schedule: "0 * * * *" # 每小时运行一次
  concurrencyPolicy: Forbid
  successfulJobsHistoryLimit: 0
  failedJobsHistoryLimit: 1
  jobTemplate:
    spec:
      backoffLimit: 0 # 失败时不重试
      template:
        metadata:
          labels:
            name: gke-node-optimizer
        spec:
          priorityClassName: high-priority
          affinity:
            nodeAffinity:
              requiredDuringSchedulingIgnoredDuringExecution:
                nodeSelectorTerms:
                  - matchExpressions:
                    - key: cloud.google.com/gke-nodepool
                      operator: In
                      values:
                        - default-pool
          restartPolicy: Never
          containers:
          - name: gke-node-optimizer
            image: naaga/gke-node-optimizer:v0.1.0
            imagePullPolicy: IfNotPresent # 仅本地不存在时拉取
            env:
            - name: PROJECT_ID
              value: "my-project"
            - name: CLUSTER_NAME
              value: "my-cluster"
            - name: CLUSTER_LOCATION
              value: "asia-east1"
            - name: SLACK_BOT_TOKEN
              value: "TODO" # 替换为Slack机器人用户令牌
            - name: SLACK_CHANNEL_ID
              value: "TODO" # 替换为报告目标Slack频道ID
EOS

执行优化器

如需立即执行优化器，可使用以下命令：

shell
$ gcloud config set project my-project
$ gcloud container clusters get-credentials my-cluster --region=asia-east1
$ make run-gke 

信号处理

抢占式节点可能因24小时运行限制外的原因被强制关闭。Compute Engine会通过ACPI G2 Soft Off信号发送抢占通知。可通过关闭脚本处理此通知，在实例停止前将信号传递给Pod。对于COS操作系统，可通过启动脚本设置kubectl和凭据，再通过关闭脚本排空节点（需修改实例模板并应用到节点池）。

许可证

gke-node-optimizer采用MIT许可证发布。详情参见LICENSE文件。