domoinc/kube-valet

Kube-Valet：你的集群资源助手

Kube-Valet是一个Kubernetes自定义控制器，允许集群管理员或用户：

• 为特定工作负载动态分配集群容量
• 在pod创建后自动应用调度配置到pod

它通过自定义资源定义（CRD）定义行为，并使用MutatingWebhook在pod创建时修改其配置。目前Kube-Valet处于alpha状态。

核心功能

1. 动态资源分配：通过NodeAssignmentGroups自定义资源为特定工作负载分配集群节点资源。
2. 自动调度配置：通过PodAssignmentRules等资源自动为pod应用调度策略（如节点选择、污点容忍）。
3. 工具支持：提供valetctl工具简化资源创建和管理操作。

使用场景

• 集群资源精细化管理，隔离不同类型的工作负载（如敏感任务与普通任务）。
• 自动化pod调度策略，减少手动配置成本。
• 快速为特定工作负载预留节点资源。

配置说明

安装要求

• Kubernetes v1.13及以上版本。
• 启用MutatingWebhook AdmissionController（多数集群默认启用）。
• 启用admissionregistration.k8s.io API组（多数集群默认启用）。
• 集群管理员权限。

安装方式

方式1：Helm自动TLS（推荐）

bash
git clone git@github.com:domoinc/kube-valet.git
cd kube-valet
helm install -n kube-valet --set tls.auto=true --wait ./helm

自动TLS安装可能需要几分钟时间，等待镜像下载和资源就绪。

方式2：Helm手动TLS

1. 克隆仓库并进入目录：

bash
git clone git@github.com:domoinc/kube-valet.git
cd kube-valet

2. 生成自签名TLS证书（需安装CFSSL工具）：

bash
mkdir tls && cd tls
# 初始化CA
cat << EOF | cfssl genkey -initca - | cfssljson -bare ca
{
    "CN": "kube-valet-ca",
    "key": {
        "algo": "ecdsa",
        "size": 256
    }
}
EOF
# 生成服务器证书
cat << EOF | cfssl gencert -ca ca.pem -ca-key ca-key.pem - | cfssljson -bare server
{
    "CN": "kube-valet.kube-valet.svc",
    "hosts": [
        "kube-valet.kube-valet.svc",
        "kube-valet.kube-valet.svc.cluster.local"
    ],
    "key": {
        "algo": "ecdsa",
        "size": 256
    }
}
EOF
cd ../

3. 安装Helm chart：

bash
cp -r tls helm/
helm install -n kube-valet --wait ./helm

方式3：YAML手动TLS

1. 替换证书占位符：

bash
vim deploy/secret.yaml # 替换证书和密钥
vim deploy/mutatingwebhookconfiguration.yaml # 替换CA证书

2. 应用部署文件：

bash
kubectl apply -f deploy/namespace.yaml
kubectl apply -f deploy/

使用Kube-Valet

通过自定义资源配置Kube-Valet，示例操作：

bash
kubectl create -f _examples/resources/nodeassignmentgroups/simple.yaml
kubectl get nags # 查看NodeAssignmentGroups
kubectl delete nag simple

支持的自定义资源：

• pars（podassignmentrules）
• cpars（clusterpodassignmentrules）
• nags（nodeassignmentgroups）

valetctl工具使用

valetctl简化资源管理：

1. 安装：

bash
curl -Lo /usr/local/bin/valetctl https://github.com/domoinc/kube-valet/releases/download/v2018.10.17.0/valetctl
chmod +x /usr/local/bin/valetctl

2. 示例：分配节点并配置pod调度

bash
# 创建节点组：1个敏感任务节点，2个普通任务节点
valetctl group create for-jobs sensitive:1:LabelAndTaint relaxed:2
# 配置敏感任务pod调度到敏感节点
valetctl assignment create sensitivereq require -t jobtype=sensitive -A for-jobs/sensitive
# 运行敏感任务pod
kubectl -n kv-example run sensitive --image=alpine:latest sleep 36000 -l jobtype=sensitive --replicas=5

保护资源

• 保护pod：添加标签pod.initializer.kube-valet.io/protected=true，Kube-Valet将忽略该pod。
• 保护节点：添加标签nags.kube-valet.io/protected=true，Kube-Valet将忽略该节点。

本地开发

要求

• make工具
• Golang 1.12+

步骤

1. 修改代码后执行make构建，或make build仅构建二进制文件。
2. 运行：

bash
./build/kube-valet --kubeconfig ~/.kube/config --loglevel="DEBUG" --no-leader-elect --key=/path/to/key.pem --cert=/path/to/cert.pem

贡献

欢迎提交PR和issue。

社区行为准则

遵循https://github.com/cncf/foundation/blob/master/code-of-conduct.md%E3%80%82

版权信息

Copyright (c) 2018 Domo, Inc.
Kube-Valet由Carson Anderson（@carsonoid）创建，Jordan Davidson（@from-nibly）提供额外帮助。