ascendai/infer-operator

集群调度组件 Infer Operator

镜像概述

Infer Operator是MindCluster集群调度组件之一，部署于管理节点，是一个Kubernetes Operator，用于部署和管理多角色协作的推理任务。它定义了InferServiceSet、InferService和InstanceSet三个CRD，并实现了这三种资源类型的控制器以协调其实例状态。

核心功能

• 创建推理实例的Workloads和Services
• 支持推理实例的手动扩缩容

使用场景

MindCluster通过Infer Operator组件，基于推理服务的实例配置启动推理服务，并支持手动调整推理实例的数量。

配置说明

依赖要求

软件依赖

硬件要求

部署示例

拉取镜像

从Atlas镜像仓库拉取官方镜像（替换{tag}为实际版本，推荐v26.0.0）：

bash
docker pull swr.cn-south-1.myhuaweicloud.com/ascendhub/infer-operator:{tag}

重命名镜像

为便于管理，将官方镜像重命名为本地标签：

bash
docker tag swr.cn-south-1.myhuaweicloud.com/ascendhub/infer-operator:{tag} infer-operator:{tag}

部署到Kubernetes

替换配置文件中的镜像标签后应用：

bash
kubectl apply -f infer-operator-{version}.yaml

验证部署

检查Pod状态是否正常：

bash
kubectl get pods -A | grep infer-operator

预期结果：相关Pod处于Running状态。

本地构建（可选）

以linux-aarch64架构、v26.0.0版本为例：

1. 下载组件包：

shell
wget https://gitcode.com/Ascend/mind-cluster/releases/download/v26.0.0/Ascend-mindxdl-infer-operator_26.0.0_linux-aarch64.zip

2. 解压包：

shell
unzip Ascend-mindxdl-infer-operator_26.0.0_linux-aarch64.zip -d Ascend-mindxdl-infer-operator_26.0.0_linux-aarch64

3. 进入工作目录并构建镜像：

bash
cd Ascend-mindxdl-infer-operator_26.0.0_linux-aarch64
docker build --no-cache -t infer-operator:v26.0.0 ./ -f Dockerfile

支持硬件

当前支持的Atlas硬件型号请参考官方文档：支持的产品形态和OS清单

许可证

查看镜像中包含的Mind系列软件许可证信息：https://www.hiascend.com/zh/legal/softlicense
容器镜像中预装的软件包（如Python、系统库等）可能受其各自许可协议约束。