ascendai/clusterd

集群调度组件ClusterD

快速参考

• ClusterD由MindCluster仓库维护
• 帮助渠道：
  • MindCluster仓库
  • https://www.hiascend.com/document/detail/zh/mindcluster/2600/clustersched/dlug/docs/zh/scheduling/introduction.md
  • 问题跟踪器

镜像概述

ClusterD是MindCluster集群调度组件之一，部署在管理节点。它收集并聚合集群作业、资源、故障信息及其影响范围，从作业、芯片、故障维度进行统计分析，统一确定故障处理级别与策略。

核心功能

• 从Atlas Device Plugin和NodeD组件获取芯片、节点、网络信息，从ConfigMap或gRPC获取公共故障信息；
• 聚合上述故障信息供上层集群调度服务查询；
• 与训练容器建立连接，控制训练进程执行重计算操作；
• 与带外服务交互，传输作业信息。

使用场景

单节点可能出现多个故障，若各节点独立处理，作业可能同时受多种恢复策略影响。为协调作业处理级别，MindCluster在管理节点部署ClusterD服务，统一处理集群级别的故障与资源调度。

配置说明

依赖要求

软件依赖

硬件要求

镜像获取与部署

在线拉取镜像

1. 从AscendHub拉取官方镜像（替换{tag}为实际版本，推荐v26.0.0）：

bash
docker pull swr.cn-south-1.myhuaweicloud.com/ascendhub/clusterd:{tag}

2. 重新打标签以便管理：

bash
docker tag swr.cn-south-1.myhuaweicloud.com/ascendhub/clusterd:{tag} clusterd:{tag}

本地构建（可选）

以linux-aarch64架构、v26.0.0版本为例：

1. 下载组件包：

shell
wget https://gitcode.com/Ascend/mind-cluster/releases/download/v26.0.0/Ascend-mindxdl-clusterd_26.0.0_linux-aarch64.zip

2. 解压到自定义目录：

shell
unzip Ascend-mindxdl-clusterd_26.0.0_linux-aarch64.zip -d Ascend-mindxdl-clusterd_26.0.0_linux-aarch64

3. 进入工作目录：

shell
cd Ascend-mindxdl-clusterd_26.0.0_linux-aarch64

4. 构建镜像：

bash
docker build --no-cache -t clusterd:v26.0.0 ./ -f Dockerfile

部署ClusterD

1. 启动服务（替换YAML中的{version}为实际版本）：

bash
kubectl apply -f clusterd-{version}.yaml

2. 验证部署：

bash
kubectl get pods -A | grep clusterd

预期结果：对应命名空间下的clusterd Pod处于Running状态。

支持硬件

当前支持的Atlas硬件型号请参考官方文档：支持的产品形态和OS清单

许可证

查看镜像中包含的Mind系列软件的https://www.hiascend.com/en/legal/softlicense。容器镜像中预装的软件包（如Python、系统库等）可能受其各自许可协议约束。