openeuler/euler-copilot-fast-inference-qwen

euler-copilot-fast-inference-qwen | openEuler 镜像文档

镜像概述和主要用途

euler-copilot-fast-inference-qwen 是一个基于鲲鹏处理器和 openEuler 基础镜像构建的推理框架，专为大规模 CPU 推理场景设计。该镜像经过容器化打包，支持一键部署，可快速应用于各类需要高效 CPU 推理的场景。

核心功能和特性

• 架构优化：针对鲲鹏处理器优化，充分发挥硬件性能
• 大规模推理：支持大规模 CPU 环境下的模型推理任务
• 容器化部署：基于 openEuler 基础镜像构建，可直接部署使用
• 版本管理：镜像标签包含框架版本和基础镜像版本，便于版本追溯

支持的标签及 Dockerfile 链接

每个 euler-copilot-fast-inference-qwen 镜像标签由框架版本和基础镜像版本组成，具体信息如下：

使用方法和配置说明

前提条件

• 已安装 Docker 环境
• 具备访问网络的能力，用于拉取镜像和模型文件

镜像下载

由于镜像体积较大，建议在启动容器前单独拉取镜像：

bash
docker pull openeuler/euler-copilot-fast-inference-qwen:{Tag}

注意：将 {Tag} 替换为实际使用的标签，如 1.5-oe2203sp3

模型权重下载

以 Qwen1.5-7B-Chat 模型为例，下载权重文件：

bash
wget https://hf-mirror.com/Qwen/Qwen1.5-7B-Chat-GGUF/resolve/main/qwen1_5-7b-chat-q4_0.gguf

启动容器与执行推理

1. 进入源代码目录：

   bash
   cd euler-copilot-fast-inference
   

2. 启动容器：

   bash
   docker run --name <容器名称> -it -d --net=host --privileged=true --entrypoint=bash openeuler/euler-copilot-fast-inference-qwen:1.5-oe2203sp3
   

   注意：将 <容器名称> 替换为自定义的容器名称

3. 进入容器并执行推理：

   bash
   docker exec -it <容器名称> bash
   cd /home/euler-copilot-fast-inference
   

4. 运行推理命令（示例）：

   bash
   ./fast-llm qwen1_5-7b-chat-q4_0.gguf -t 0.0 -i "中国最高的山峰是?" -n 64
   

   • 参数说明：
     • qwen1_5-7b-chat-q4_0.gguf：模型权重文件路径（第一个参数）
     • -t 0.0：温度参数，控制输出随机性
     • -i "中国最高的山峰是?"：输入提示词
     • -n 64：最大输出 token 数

查看推理结果

执行推理命令后，终端将直接输出模型的推理结果。

问题反馈

如遇问题或需要使用特殊功能，请在 openeuler-docker-images 提交 issue 或 pull request。