ClusterD是MindCluster的集群调度组件,部署于管理节点,负责收集聚合集群作业、资源及故障信息,从多维度统计分析并统一确定故障处理级别与策略。
集群调度组件ClusterD
快速参考
- ClusterD由MindCluster仓库维护
- 帮助渠道:
- MindCluster仓库
- https://www.hiascend.com/document/detail/zh/mindcluster/2600/clustersched/dlug/docs/zh/scheduling/introduction.md
- 问题跟踪器
镜像概述
ClusterD是MindCluster集群调度组件之一,部署在管理节点。它收集并聚合集群作业、资源、故障信息及其影响范围,从作业、芯片、故障维度进行统计分析,统一确定故障处理级别与策略。
核心功能
- 从Atlas Device Plugin和NodeD组件获取芯片、节点、网络信息,从ConfigMap或gRPC获取公共故障信息;
- 聚合上述故障信息供上层集群调度服务查询;
- 与训练容器建立连接,控制训练进程执行重计算操作;
- 与带外服务交互,传输作业信息。
使用场景
单节点可能出现多个故障,若各节点独立处理,作业可能同时受多种恢复策略影响。为协调作业处理级别,MindCluster在管理节点部署ClusterD服务,统一处理集群级别的故障与资源调度。
配置说明
依赖要求
软件依赖
| 软件 | 支持版本 | 安装位置 | 描述 |
|---|---|---|---|
| Kubernetes | 1.17.x~1.34.x(推荐1.19.x及以上) | 所有节点 | 参考https://kubernetes.io/docs/ |
| Atlas Device Plugin | 与ClusterD版本一致 | 计算节点 | ClusterD依赖其上报芯片信息 |
| NodeD | 与ClusterD版本一致 | 计算节点 | ClusterD依赖其上报节点故障信息 |
硬件要求
| 资源 | 最多100节点 | 500节点 | 1000节点 |
|---|---|---|---|
| CPU | 1核 | 2核 | 4核 |
| 内存 | 1GB | 2GB | 8GB |
镜像获取与部署
在线拉取镜像
- 从AscendHub拉取官方镜像(替换{tag}为实际版本,推荐v26.0.0):
bashdocker pull swr.cn-south-1.myhuaweicloud.com/ascendhub/clusterd:{tag}
- 重新打标签以便管理:
bashdocker tag swr.cn-south-1.myhuaweicloud.com/ascendhub/clusterd:{tag} clusterd:{tag}
本地构建(可选)
以linux-aarch64架构、v26.0.0版本为例:
- 下载组件包:
shellwget https://gitcode.com/Ascend/mind-cluster/releases/download/v26.0.0/Ascend-mindxdl-clusterd_26.0.0_linux-aarch64.zip
- 解压到自定义目录:
shellunzip Ascend-mindxdl-clusterd_26.0.0_linux-aarch64.zip -d Ascend-mindxdl-clusterd_26.0.0_linux-aarch64
- 进入工作目录:
shellcd Ascend-mindxdl-clusterd_26.0.0_linux-aarch64
- 构建镜像:
bashdocker build --no-cache -t clusterd:v26.0.0 ./ -f Dockerfile
部署ClusterD
- 启动服务(替换YAML中的{version}为实际版本):
bashkubectl apply -f clusterd-{version}.yaml
- 验证部署:
bashkubectl get pods -A | grep clusterd
预期结果:对应命名空间下的clusterd Pod处于Running状态。
支持硬件
当前支持的Atlas硬件型号请参考官方文档:支持的产品形态和OS清单
许可证
查看镜像中包含的Mind系列软件的https://www.hiascend.com/en/legal/softlicense。容器镜像中预装的软件包(如Python、系统库等)可能受其各自许可协议约束。
镜像拉取方式
您可以使用以下命令拉取该镜像。请将 <标签> 替换为具体的标签版本。如需查看所有可用标签版本,请访问 标签列表页面。
轩辕镜像加速拉取命令点我查看更多 clusterd 镜像标签
docker pull docker.xuanyuan.run/ascendai/clusterd:<标签>
DockerHub 原生拉取命令
docker pull ascendai/clusterd:<标签>
用户好评
来自真实用户的反馈,见证轩辕镜像的优质服务