Atlas Operator是MindCluster集群调度组件之一,部署于管理节点,支持在Kubernetes上使用MindSpore和PyTorch框架进行分布式训练,通过CRD机制定义AscendJob任务,用户可通过配置YAML文件轻松实现分布式训练。
集群调度组件 Atlas Operator
快速参考
- Atlas Operator由MindCluster仓库维护
- 获取帮助途径:
- MindCluster仓库
- https://www.hiascend.com/document/detail/zh/mindcluster/2600/clustersched/dlug/docs/zh/scheduling/introduction.md
- 问题跟踪
Atlas Operator简介
Atlas Operator是MindCluster集群调度组件的一部分,部署在管理节点上。它支持在Kubernetes上使用MindSpore和PyTorch AI框架进行分布式训练,通过CRD(自定义资源定义)机制定义AscendJob任务,用户只需配置YAML文件即可轻松实现分布式训练。
使用场景
MindCluster提供Atlas Operator组件,用于输入集体通信所需的信息,包括主进程IP、静态网络集体通信的RankTable信息以及当前Pod的rankId。
核心功能
- 创建Pod并通过环境变量注入集体通信参数;
- 生成RankTable文件,通过共享存储或ConfigMap挂载到容器中,优化集体通信链路建立性能。
上下游依赖
- 通过Volcano感知当前作业所需资源是否满足;
- 资源满足后,为作业创建对应的Pod并将集体通信参数作为环境变量注入;
- Pod创建后,Volcano执行最终的资源选择;
- 从Atlas Device Plugin获取作业的芯片ID、IP和rankId信息,聚合后生成集体通信文件;
- 通过共享存储或ConfigMap将集体通信文件挂载到容器中。
支持的标签和Dockerfile链接
标签约定
标签遵循以下格式:
<version>
| 字段 | 示例 | 描述 |
|---|---|---|
version | v26.0.0 | Atlas Operator版本 |
Atlas Operator 26.0.0
| 标签 | Dockerfile | 镜像内容 |
|---|---|---|
v26.0.0 | Dockerfile | Atlas Operator v26.0.0(基于Ubuntu 22.04) |
快速开始
前提条件
软件依赖
| 软件 | 支持版本 | 安装位置 | 描述 |
|---|---|---|---|
| Kubernetes | 1.17.x~1.34.x(推荐1.19.x及以上) | 所有节点 | 参考https://kubernetes.io/docs/ |
| Volcano | 参考https://github.com/volcano-sh/volcano/blob/master/README.md#kubernetes-compatibility | 管理节点 | Atlas Operator依赖Volcano进行资源调度 |
硬件要求
| 资源 | 要求 |
|---|---|
| CPU | 2核 |
| 内存 | 2.5 GB |
在线获取镜像
- 拉取官方镜像
从AscendHub拉取镜像,替换{tag}为实际版本(推荐v26.0.0):
bashdocker pull swr.cn-south-1.myhuaweicloud.com/ascendhub/ascend-operator:{tag}
- 重新标记镜像
为镜像添加本地标签便于管理:
bashdocker tag swr.cn-south-1.myhuaweicloud.com/ascendhub/ascend-operator:{tag} ascend-operator:{tag}
本地构建(可选)
以linux-aarch64架构、v26.0.0版本为例:
- 下载组件包
shellwget https://gitcode.com/Ascend/mind-cluster/releases/download/v26.0.0/Ascend-mindxdl-ascend-operator_26.0.0_linux-aarch64.zip
- 解压到自定义目录
shellunzip Ascend-mindxdl-ascend-operator_26.0.0_linux-aarch64.zip -d Ascend-mindxdl-ascend-operator_26.0.0_linux-aarch64
- 进入工作目录
shellcd Ascend-mindxdl-ascend-operator_26.0.0_linux-aarch64
- 构建镜像(禁用缓存)
bashdocker build --no-cache -t ascend-operator:v26.0.0 ./ -f Dockerfile
部署操作
- 启动Operator
替换YAML中的{version}为实际版本后执行:
bashkubectl apply -f ascend-operator-{version}.yaml
- 验证部署
bashkubectl get pods -A | grep ascend-operator
预期结果:相关Pod处于Running状态。
支持的硬件
参考官方文档:支持的产品形态和OS列表
许可证
查看Mind系列软件的https://www.hiascend.com/en/legal/softlicense,预安装包(Python、系统库等)受各自许可协议约束。
镜像拉取方式
您可以使用以下命令拉取该镜像。请将 <标签> 替换为具体的标签版本。如需查看所有可用标签版本,请访问 标签列表页面。
轩辕镜像加速拉取命令点我查看更多 ascend-operator 镜像标签
docker pull docker.xuanyuan.run/ascendai/ascend-operator:<标签>
DockerHub 原生拉取命令
docker pull ascendai/ascend-operator:<标签>
用户好评
来自真实用户的反馈,见证轩辕镜像的优质服务