clusterd

ascendai/clusterd Docker Image

ClusterD是MindCluster的集群调度组件,部署于管理节点,负责收集聚合集群作业、资源及故障信息,从多维度统计分析并统一确定故障处理级别与策略。

下载次数: 0状态:社区镜像维护者:昇腾 Ascend AI 容器镜像仓库类型:镜像最近更新:

集群调度组件ClusterD

快速参考

  • ClusterD由MindCluster仓库维护
  • 帮助渠道:
    • MindCluster仓库
    • https://www.hiascend.com/document/detail/zh/mindcluster/2600/clustersched/dlug/docs/zh/scheduling/introduction.md
    • 问题跟踪器

镜像概述

ClusterD是MindCluster集群调度组件之一,部署在管理节点。它收集并聚合集群作业、资源、故障信息及其影响范围,从作业、芯片、故障维度进行统计分析,统一确定故障处理级别与策略。

核心功能

  • 从Atlas Device Plugin和NodeD组件获取芯片、节点、网络信息,从ConfigMap或gRPC获取公共故障信息;
  • 聚合上述故障信息供上层集群调度服务查询;
  • 与训练容器建立连接,控制训练进程执行重计算操作;
  • 与带外服务交互,传输作业信息。

使用场景

单节点可能出现多个故障,若各节点独立处理,作业可能同时受多种恢复策略影响。为协调作业处理级别,MindCluster在管理节点部署ClusterD服务,统一处理集群级别的故障与资源调度。

配置说明

依赖要求

软件依赖

软件支持版本安装位置描述
Kubernetes1.17.x~1.34.x(推荐1.19.x及以上)所有节点参考https://kubernetes.io/docs/
Atlas Device Plugin与ClusterD版本一致计算节点ClusterD依赖其上报芯片信息
NodeD与ClusterD版本一致计算节点ClusterD依赖其上报节点故障信息

硬件要求

资源最多100节点500节点1000节点
CPU1核2核4核
内存1GB2GB8GB

镜像获取与部署

在线拉取镜像

  1. 从AscendHub拉取官方镜像(替换{tag}为实际版本,推荐v26.0.0):
bash
docker pull swr.cn-south-1.myhuaweicloud.com/ascendhub/clusterd:{tag}
  1. 重新打标签以便管理:
bash
docker tag swr.cn-south-1.myhuaweicloud.com/ascendhub/clusterd:{tag} clusterd:{tag}

本地构建(可选)

以linux-aarch64架构、v26.0.0版本为例:

  1. 下载组件包:
shell
wget https://gitcode.com/Ascend/mind-cluster/releases/download/v26.0.0/Ascend-mindxdl-clusterd_26.0.0_linux-aarch64.zip
  1. 解压到自定义目录:
shell
unzip Ascend-mindxdl-clusterd_26.0.0_linux-aarch64.zip -d Ascend-mindxdl-clusterd_26.0.0_linux-aarch64
  1. 进入工作目录:
shell
cd Ascend-mindxdl-clusterd_26.0.0_linux-aarch64
  1. 构建镜像:
bash
docker build --no-cache -t clusterd:v26.0.0 ./ -f Dockerfile

部署ClusterD

  1. 启动服务(替换YAML中的{version}为实际版本):
bash
kubectl apply -f clusterd-{version}.yaml
  1. 验证部署:
bash
kubectl get pods -A | grep clusterd

预期结果:对应命名空间下的clusterd Pod处于Running状态。

支持硬件

当前支持的Atlas硬件型号请参考官方文档:支持的产品形态和OS清单

许可证

查看镜像中包含的Mind系列软件的https://www.hiascend.com/en/legal/softlicense。容器镜像中预装的软件包(如Python、系统库等)可能受其各自许可协议约束。

镜像拉取方式

您可以使用以下命令拉取该镜像。请将 <标签> 替换为具体的标签版本。如需查看所有可用标签版本,请访问 标签列表页面。

轩辕镜像加速拉取命令点我查看更多 clusterd 镜像标签

docker pull docker.xuanyuan.run/ascendai/clusterd:<标签>

DockerHub 原生拉取命令

docker pull ascendai/clusterd:<标签>
专业版 · 高速稳定拉取镜像
50GB 仅 ¥8/年
高速镜像下载在线技术支持专业版保障服务可用付费会员免广告