这是MindCluster集群调度组件中的Infer Operator,作为Kubernetes Operator部署在管理节点,用于定义推理相关CRD并管理多角色协作的推理任务,支持推理实例的手动扩缩容。
集群调度组件 Infer Operator
镜像概述
Infer Operator是MindCluster集群调度组件之一,部署于管理节点,是一个Kubernetes Operator,用于部署和管理多角色协作的推理任务。它定义了InferServiceSet、InferService和InstanceSet三个CRD,并实现了这三种资源类型的控制器以协调其实例状态。
核心功能
- 创建推理实例的Workloads和Services
- 支持推理实例的手动扩缩容
使用场景
MindCluster通过Infer Operator组件,基于推理服务的实例配置启动推理服务,并支持手动调整推理实例的数量。
配置说明
依赖要求
软件依赖
| 软件 | 支持版本 | 安装位置 | 说明 |
|---|---|---|---|
| Kubernetes | 1.17.x~1.34.x(推荐1.19.x及以上) | 所有节点 | 参考Kubernetes官方文档 |
| Volcano | 参考Volcano与Kubernetes兼容性 | 管理节点 | Infer Operator依赖Volcano进行资源调度 |
| Atlas Device Plugin | 与Infer Operator版本一致 | 计算节点 | 推理任务使用NPU资源时需安装 |
硬件要求
| 资源 | 要求 |
|---|---|
| CPU | 2核 |
| 内存 | 2GB |
部署示例
拉取镜像
从Atlas镜像仓库拉取官方镜像(替换{tag}为实际版本,推荐v26.0.0):
bashdocker pull swr.cn-south-1.myhuaweicloud.com/ascendhub/infer-operator:{tag}
重命名镜像
为便于管理,将官方镜像重命名为本地标签:
bashdocker tag swr.cn-south-1.myhuaweicloud.com/ascendhub/infer-operator:{tag} infer-operator:{tag}
部署到Kubernetes
替换配置文件中的镜像标签后应用:
bashkubectl apply -f infer-operator-{version}.yaml
验证部署
检查Pod状态是否正常:
bashkubectl get pods -A | grep infer-operator
预期结果:相关Pod处于Running状态。
本地构建(可选)
以linux-aarch64架构、v26.0.0版本为例:
- 下载组件包:
shellwget https://gitcode.com/Ascend/mind-cluster/releases/download/v26.0.0/Ascend-mindxdl-infer-operator_26.0.0_linux-aarch64.zip
- 解压包:
shellunzip Ascend-mindxdl-infer-operator_26.0.0_linux-aarch64.zip -d Ascend-mindxdl-infer-operator_26.0.0_linux-aarch64
- 进入工作目录并构建镜像:
bashcd Ascend-mindxdl-infer-operator_26.0.0_linux-aarch64 docker build --no-cache -t infer-operator:v26.0.0 ./ -f Dockerfile
支持硬件
当前支持的Atlas硬件型号请参考官方文档:支持的产品形态和OS清单
许可证
查看镜像中包含的Mind系列软件许可证信息:https://www.hiascend.com/zh/legal/softlicense
容器镜像中预装的软件包(如Python、系统库等)可能受其各自许可协议约束。
镜像拉取方式
您可以使用以下命令拉取该镜像。请将 <标签> 替换为具体的标签版本。如需查看所有可用标签版本,请访问 标签列表页面。
轩辕镜像加速拉取命令点我查看更多 infer-operator 镜像标签
docker pull docker.xuanyuan.run/ascendai/infer-operator:<标签>
DockerHub 原生拉取命令
docker pull ascendai/infer-operator:<标签>
用户好评
来自真实用户的反馈,见证轩辕镜像的优质服务