ascendai/ascend-k8sdeviceplugin

集群调度组件 Atlas Device Plugin

快速参考

• Atlas Device Plugin由MindCluster仓库维护
• 帮助渠道：
  • MindCluster仓库
  • https://www.hiascend.com/document/detail/zh/mindcluster/2600/clustersched/dlug/docs/zh/scheduling/introduction.md
  • 问题追踪

概述

Atlas Device Plugin是MindCluster集群调度套件的核心组件之一，部署在计算节点上，为Atlas设备提供量身定制的资源发现和上报策略，使Kubernetes能够感知并调度Atlas AI处理器资源。

核心功能

• 设备发现：从驱动获取芯片类型和型号信息，上报给kubelet和上层ClusterD服务；支持发现物理设备数量及虚拟设备（物理设备拆分而来）并上报至Kubernetes系统。
• 健康检查：订阅驱动的芯片故障信息，向kubelet和上层调度服务上报芯片状态及具体故障详情；当设备处于不健康状态时，自动从可用列表中移除，虚拟设备健康状态由其所属物理设备决定。
• 设备分配：支持Kubernetes系统中Atlas设备的分配；支持NPU设备重调度（设备故障时自动启动新容器、挂载健康设备并重建训练任务）；资源挂载阶段将集群调度器选择的芯片信息通过环境变量传递给Atlas Docker Runtime进行挂载。
• 故障处理：可配置故障处理级别，故障复发或持续时可升级处理级别；若故障芯片处于空闲状态且重启可恢复，则执行芯片热重置。
• 网络故障监控：订阅Lingqu驱动的网络故障信息，向kubelet和上层调度服务上报网络状态及具体故障详情。

使用场景

Kubernetes需要感知资源信息以实现调度。除基础CPU和内存外，设备插件机制允许自定义资源类型及发现/上报策略。本插件适用于需要在Kubernetes集群中调度Atlas AI处理器资源的场景，如AI训练、推理任务等。

配置说明

前提条件

软件依赖

硬件要求

驱动安装

主机需安装驱动和固件，详情参考https://www.hiascend.com/document/detail/en/canncommercial/850/softwareinst/instg/instg_0005.html?Mode=PmIns&InstallType=local&OS=Debian或https://www.hiascend.com/document/detail/en/CANNCommunityEdition/850/softwareinst/instg/instg_0005.html?Mode=PmIns&InstallType=local&OS=openEuler。

在线获取镜像

1. 拉取官方镜像（替换{tag}为实际版本，推荐v26.0.0）：

   bash
   docker pull swr.cn-south-1.myhuaweicloud.com/ascendhub/ascend-k8sdeviceplugin:{tag}
   

2. 重命名镜像：

   bash
   docker tag swr.cn-south-1.myhuaweicloud.com/ascendhub/ascend-k8sdeviceplugin:{tag} ascend-k8sdeviceplugin:{tag}
   

本地构建（可选）

以linux-aarch64架构和v26.0.0版本为例：

1. 下载组件包：

   shell
   wget https://gitcode.com/Ascend/mind-cluster/releases/download/v26.0.0/Ascend-mindxdl-device-plugin_26.0.0_linux-aarch64.zip
   

2. 解压到自定义目录：

   shell
   unzip Ascend-mindxdl-device-plugin_26.0.0_linux-aarch64.zip -d Ascend-mindxdl-device-plugin_26.0.0_linux-aarch64
   

3. 进入工作目录：

   shell
   cd Ascend-mindxdl-device-plugin_26.0.0_linux-aarch64
   

4. 构建镜像：

   bash
   docker build --no-cache -t ascend-k8sdeviceplugin:v26.0.0 ./ -f Dockerfile
   

部署插件

1. 标签节点（替换为实际节点名）：

   bash
   # 示例：为Atlas910节点打标签
   kubectl label nodes <node-name> accelerator=huawei-Ascend910
   

2. 启动插件（替换{version}为实际版本）：

   bash
   # 不含Atlas 200I SoC A1核心板且无Volcano的配置
   kubectl apply -f device-plugin-{version}.yaml
   # 不含Atlas 200I SoC A1核心板且有Volcano的配置
   kubectl apply -f device-plugin-volcano-{version}.yaml
   

3. 验证部署：

   bash
   kubectl get pods -A | grep device-plugin
   

   预期结果：相关Pod处于Running状态。
4. 检查节点资源：

   bash
   kubectl describe node <npu-node-name> | grep "huawei.com/Ascend"
   

   预期结果：正确显示huawei.com/Ascend资源的容量和可分配量。

支持的硬件

当前支持的Atlas硬件型号请参考官方文档：支持的产品形态和OS列表

许可协议

查看镜像中包含的Mind系列软件的https://www.hiascend.com/en/legal/softlicense。容器镜像中预装的软件包（如Python、系统库等）可能受其各自许可协议约束。