infer-operator

ascendai/infer-operator Docker Image

这是MindCluster集群调度组件中的Infer Operator,作为Kubernetes Operator部署在管理节点,用于定义推理相关CRD并管理多角色协作的推理任务,支持推理实例的手动扩缩容。

下载次数: 0状态:社区镜像维护者:昇腾 Ascend AI 容器镜像仓库类型:镜像最近更新:

集群调度组件 Infer Operator

镜像概述

Infer Operator是MindCluster集群调度组件之一,部署于管理节点,是一个Kubernetes Operator,用于部署和管理多角色协作的推理任务。它定义了InferServiceSet、InferService和InstanceSet三个CRD,并实现了这三种资源类型的控制器以协调其实例状态。

核心功能

  • 创建推理实例的Workloads和Services
  • 支持推理实例的手动扩缩容

使用场景

MindCluster通过Infer Operator组件,基于推理服务的实例配置启动推理服务,并支持手动调整推理实例的数量。

配置说明

依赖要求

软件依赖

软件支持版本安装位置说明
Kubernetes1.17.x~1.34.x(推荐1.19.x及以上)所有节点参考Kubernetes官方文档
Volcano参考Volcano与Kubernetes兼容性管理节点Infer Operator依赖Volcano进行资源调度
Atlas Device Plugin与Infer Operator版本一致计算节点推理任务使用NPU资源时需安装

硬件要求

资源要求
CPU2核
内存2GB

部署示例

拉取镜像

从Atlas镜像仓库拉取官方镜像(替换{tag}为实际版本,推荐v26.0.0):

bash
docker pull swr.cn-south-1.myhuaweicloud.com/ascendhub/infer-operator:{tag}

重命名镜像

为便于管理,将官方镜像重命名为本地标签:

bash
docker tag swr.cn-south-1.myhuaweicloud.com/ascendhub/infer-operator:{tag} infer-operator:{tag}

部署到Kubernetes

替换配置文件中的镜像标签后应用:

bash
kubectl apply -f infer-operator-{version}.yaml

验证部署

检查Pod状态是否正常:

bash
kubectl get pods -A | grep infer-operator

预期结果:相关Pod处于Running状态。

本地构建(可选)

以linux-aarch64架构、v26.0.0版本为例:

  1. 下载组件包:
shell
wget https://gitcode.com/Ascend/mind-cluster/releases/download/v26.0.0/Ascend-mindxdl-infer-operator_26.0.0_linux-aarch64.zip
  1. 解压包:
shell
unzip Ascend-mindxdl-infer-operator_26.0.0_linux-aarch64.zip -d Ascend-mindxdl-infer-operator_26.0.0_linux-aarch64
  1. 进入工作目录并构建镜像:
bash
cd Ascend-mindxdl-infer-operator_26.0.0_linux-aarch64
docker build --no-cache -t infer-operator:v26.0.0 ./ -f Dockerfile

支持硬件

当前支持的Atlas硬件型号请参考官方文档:支持的产品形态和OS清单

许可证

查看镜像中包含的Mind系列软件许可证信息:https://www.hiascend.com/zh/legal/softlicense
容器镜像中预装的软件包(如Python、系统库等)可能受其各自许可协议约束。

镜像拉取方式

您可以使用以下命令拉取该镜像。请将 <标签> 替换为具体的标签版本。如需查看所有可用标签版本,请访问 标签列表页面。

轩辕镜像加速拉取命令点我查看更多 infer-operator 镜像标签

docker pull docker.xuanyuan.run/ascendai/infer-operator:<标签>

DockerHub 原生拉取命令

docker pull ascendai/infer-operator:<标签>
专业版 · 高速稳定拉取镜像
50GB 仅 ¥8/年
高速镜像下载在线技术支持专业版保障服务可用付费会员免广告