rocm/k8s-node-labeller

AMD GPU Kubernetes设备插件

概述和主要用途

这是一个https://kubernetes.io https://kubernetes.io/docs/concepts/cluster-administration/device-plugins/实现，用于在容器集群中注册AMD GPU以支持计算工作负载。在具备适当硬件且集群中部署此插件后，您将能够运行需要AMD GPU的任务。该插件是https://github.com/ROCm/gpu-operator%E7%AD%89%E5%B7%A5%E5%85%B7%E6%9A%B4%E9%9C%B2AMD GPU为可调度资源的必要组件。

更多关于https://rocm.docs.amd.com/en/latest/what-is-rocm.html的信息。

核心功能和特性

• 支持在Kubernetes集群中注册AMD GPU设备
• 使AMD GPU成为可被Kubernetes调度的资源
• 可选的设备健康检查功能（需特权模式支持）
• 提供DaemonSet部署方式，确保所有AMD GPU节点运行插件
• 支持Helm Chart部署
• 可配合节点标签器添加GPU属性标签

前置条件

• https://rocm.docs.amd.com/projects/install-on-linux/en/latest/reference/system-requirements.html
• https://kubernetes.io/docs/setup/independent/install-kubeadm/#before-you-begin（如果使用kubeadm部署Kubernetes集群）
• https://github.com/ROCm/ROCK-Kernel-Driver（https://rocm.docs.amd.com/projects/install-on-linux/en/latest/tutorial/quick-start.html）或最新的AMD GPU Linux驱动（https://amdgpu-install.readthedocs.io/en/latest/）
• https://kubernetes.io/docs/setup/independent/install-kubeadm
• 若启用设备健康检查，pod必须允许以特权模式运行（例如kube-apiserver需设置--allow-privileged=true标志）以访问/dev/kfd

限制

• 此插件适用于Kubernetes v1.18+

部署方法

设备插件需要在所有配备AMD GPU的节点上运行。最简单的方式是创建Kubernetes https://kubernetes.io/docs/concepts/workloads/controllers/daemonset/，在集群的所有（或部分）节点上运行pod副本。DockerHub上提供了预构建的镜像https://hub.docker.com/r/rocm/k8s-device-plugin/，仓库中也提供了预定义的yaml文件k8s-ds-amdgpu-dp.yaml。通过以下命令在Kubernetes集群中创建DaemonSet：

bash
kubectl create -f k8s-ds-amdgpu-dp.yaml

或直接从网络拉取：

bash
kubectl create -f https://raw.githubusercontent.com/ROCm/k8s-device-plugin/master/k8s-ds-amdgpu-dp.yaml

若要启用实验性设备健康检查，请在kube-apiserver设置--allow-privileged=true后使用k8s-ds-amdgpu-dp-health.yaml。

Helm Chart部署

如需使用Helm部署此设备插件，可通过https://artifacthub.io/packages/helm/amd-gpu-helm/amd-gpu获取https://artifacthub.io/packages/helm/amd-gpu-helm/amd-gpu。

示例工作负载

可通过在pod定义中添加resources.limits来将工作负载限制在具有GPU的节点上。example/pod/alexnet-gpu.yaml提供了示例pod定义，该pod在AMD GPU上运行AlexNet的计时基准测试后进入睡眠状态。通过以下命令创建pod：

bash
kubectl create -f alexnet-gpu.yaml

或

bash
kubectl create -f https://raw.githubusercontent.com/ROCm/k8s-device-plugin/master/example/pod/alexnet-gpu.yaml

通过以下命令检查pod状态：

bash
kubectl describe pods

pod创建并运行后，通过以下命令查看基准测试结果：

bash
kubectl logs alexnet-tf-gpu-pod alexnet-tf-gpu-container

作为对比，example/pod/alexnet-cpu.yaml提供了使用CPU运行相同基准测试的示例pod定义。

为节点添加额外GPU属性标签

详情请参见AMD GPU Kubernetes节点标签器。示例配置位于k8s-ds-amdgpu-labeller.yaml：

bash
kubectl create -f k8s-ds-amdgpu-labeller.yaml

或

bash
kubectl create -f https://raw.githubusercontent.com/ROCm/k8s-device-plugin/master/k8s-ds-amdgpu-labeller.yaml

每个GPU的健康检查

• 通过挂载在/var/lib/amd-metrics-exporter/上的gRPC socket服务，使用exporter健康服务扩展更细粒度的每个GPU健康检测

注意事项

• 此插件使用https://blog.golang.org/using-go-modules进行依赖管理
• 如需独立于Docker镜像构建和使用此插件，请参考Dockerfile

已完成任务

• 添加适当的GPU健康检查（无需访问/dev/kfd的健康检查）