NodeD是MindCluster集群调度组件,部署于计算节点,检测节点异常状态,从IPMI获取CPU、内存、磁盘故障信息并上报至ClusterD,保障训练任务稳定运行。
集群调度组件 NodeD
快速参考
- NodeD由MindCluster仓库维护
- 获取帮助渠道:
- MindCluster仓库
- https://www.hiascend.com/document/detail/zh/mindcluster/2600/clustersched/dlug/docs/zh/scheduling/introduction.md
- 问题追踪器
NodeD概述
NodeD是MindCluster集群调度组件之一,部署在计算节点上。它负责检测节点异常状态,从IPMI获取CPU、内存和磁盘故障信息,并上报给ClusterD。
使用场景
当节点的CPU、内存或磁盘发生故障时,训练任务可能失败。为了让训练任务在节点故障时快速退出,并防止新任务被调度到故障节点,MindCluster提供NodeD组件用于检测节点异常。
核心功能
- 从IPMI获取节点异常信息并上报至上层资源调度服务
- 定期向上层资源调度服务发送节点故障信息
上下游依赖
- 从IPMI获取计算节点的CPU、内存和磁盘故障信息
- 向ClusterD上报计算节点的CPU、内存和磁盘故障信息
支持的标签与Dockerfile链接
标签约定
标签格式如下:
plaintext<version>
| 字段 | 示例 | 描述 |
|---|---|---|
version | v26.0.0 | NodeD版本 |
NodeD 26.0.0
| 标签 | Dockerfile | 镜像内容 |
|---|---|---|
v26.0.0 | Dockerfile | NodeD v26.0.0(基于Ubuntu 22.04) |
快速开始
前提条件
软件依赖
| 软件 | 支持版本 | 安装位置 | 描述 |
|---|---|---|---|
| Kubernetes | 1.17.x~1.34.x(推荐1.19.x及以上) | 所有节点 | 参考https://kubernetes.io/docs/ |
| ClusterD | 与NodeD版本一致 | 管理节点 | 聚合并处理NodeD上报的故障信息 |
| UMDK软件包 | 参考版本兼容性表 | 计算节点 | Atlas 850、Atlas 950 SuperPod产品必需 |
硬件要求
| 资源 | 要求 |
|---|---|
| CPU | 0.5核 |
| 内存 | 0.3 GB |
在线获取NodeD镜像
- 拉取官方镜像
从AscendHub拉取NodeD镜像,将{tag}替换为实际版本(推荐v26.0.0):
bashdocker pull swr.cn-south-1.myhuaweicloud.com/ascendhub/noded:{tag}
- 重新标记镜像
为官方镜像添加本地标签,便于统一命名和管理:
bashdocker tag swr.cn-south-1.myhuaweicloud.com/ascendhub/noded:{tag} noded:{tag}
本地构建(可选)
以下示例使用linux-aarch64架构和v26.0.0版本:
- 下载官方发布的组件包:
shellwget https://gitcode.com/Ascend/mind-cluster/releases/download/v26.0.0/Ascend-mindxdl-noded_26.0.0_linux-aarch64.zip
- 解压到自定义目录:
shellunzip Ascend-mindxdl-noded_26.0.0_linux-aarch64.zip -d Ascend-mindxdl-noded_26.0.0_linux-aarch64
- 进入解压后的工作目录:
shellcd Ascend-mindxdl-noded_26.0.0_linux-aarch64
- 本地构建Docker镜像(禁用缓存确保干净构建):
bashdocker build --no-cache -t noded:v26.0.0 ./ -f Dockerfile
部署NodeD
- 标记Kubernetes节点
为对应节点添加标签,用于集群调度匹配。将替换为实际节点名:
bashkubectl label nodes <node-name> workerselector=dls-worker-node
- 启动NodeD
部署前,将YAML文件中的镜像{tag}替换为实际版本:
bashkubectl apply -f noded-{version}.yaml
- 验证部署
bashkubectl get pods -A | grep noded
预期结果:对应命名空间中的noded相关Pod处于Running状态。
支持的硬件
当前支持的Atlas硬件型号描述,请参考官方文档: 支持的产品形态和OS列表
许可证
查看镜像中包含的Mind系列软件的https://www.hiascend.com/en/legal/softlicense。
与所有容器镜像一样,预安装的软件包(Python、系统库等)可能受其各自许可协议约束。
镜像拉取方式
您可以使用以下命令拉取该镜像。请将 <标签> 替换为具体的标签版本。如需查看所有可用标签版本,请访问 标签列表页面。
DockerHub 原生拉取命令
docker pull ascendai/noded:<标签>
用户好评
来自真实用户的反馈,见证轩辕镜像的优质服务