openeuler/euler-copilot-fast-inference

euler-copilot-fast-inference | openEuler 镜像文档

镜像概述和主要用途

euler-copilot-fast-inference是一个基于openEuler基础镜像构建的推理框架，专为大规模CPU推理设计。该镜像经容器化打包，可实现一键部署，适用于大模型在CPU环境下的高效推理任务。

核心功能和特性

• 基于openEuler操作系统，确保系统稳定性与兼容性
• 专注于大规模CPU环境下的模型推理任务
• 容器化设计，支持快速部署和启动
• 提供灵活的推理参数配置，适配不同模型需求

支持的标签及对应Dockerfile链接

使用场景和适用范围

适用于需要在CPU环境下进行大规模模型推理的场景，包括企业级AI应用部署、大语言模型本地推理、边缘计算环境中的AI服务等。

使用方法和配置说明

镜像拉取

由于镜像体积较大，建议先单独拉取到本地：

bash
docker pull openeuler/euler-copilot-fast-inference:{Tag}

说明：将{Tag}替换为实际标签，如1.0.0-oe2203sp3

模型权重下载

以Qwen1.5-7B-Chat模型为例，下载GGUF格式权重文件：

bash
wget https://hf-mirror.com/Qwen/Qwen1.5-7B-Chat-GGUF/resolve/main/qwen1_5-7b-chat-q4_0.gguf

容器启动与推理步骤

1. 进入源代码目录（如有）：

   bash
   cd euler-copilot-fast-inference
   

2. 启动容器：

   bash
   docker run --name <容器名称> -it -d --net=host --privileged=true --entrypoint=bash openeuler/euler-copilot-fast-inference:1.0.0-oe2203sp3
   

   说明：将<容器名称>替换为自定义名称

3. 复制模型权重文件到容器内：

   bash
   docker cp qwen1_5-7b-chat-q4_0.gguf <容器ID>:/home/euler-copilot-fast-inference
   

   说明：通过docker ps获取容器ID

4. 进入容器并执行推理：

   bash
   docker exec -it <容器名称> bash
   cd /home/euler-copilot-fast-inference
   # 推理示例：指定模型路径、温度参数、输入提示和输出长度
   ./fast-llm qwen1_5-7b-chat-q4_0.gguf -t 0.0 -i "中国最高的山峰是?" -n 64
   

参数说明

• 模型路径：推理命令的第一个参数，指定容器内模型权重文件路径
• -t：温度参数，控制输出随机性（0.0表示确定性输出）
• -i：输入提示词，指定推理的问题或指令
• -n：输出长度，限制生成文本的最大tokens数

问题反馈

如有任何问题或需要使用特定功能，请在openeuler-docker-images仓库提交issue或pull request。