openeuler/llm Docker Image

openEuler LLM容器镜像

镜像概述和主要用途

openEuler LLM容器镜像是基于openEuler系统构建的专用镜像，集成了大语言模型（LLM）开发与运行所需的完整组件，旨在为不同计算平台提供便捷的LLM应用部署环境。

核心功能和特性

该镜像包含以下核心组件：

• SDK：适用于不同计算平台的软件开发工具包
• AI框架：集成主流AI框架，如PyTorch、TensorFlow等
• 支持工具：提供LLM运行所需的辅助工具集
• LLM模型：内置主流大语言模型，如llama-2、chatglm等

支持的标签

所有LLM容器镜像均基于https://hub.docker.com/repository/docker/openeuler/openeuler/构建，目前支持以下标签：

• chatglm2_6b-pytorch2.1.0.a1-cann7.0.RC1.alpha002-oe2203sp2
• fastchat-pytorch2.1.0.a1-cann7.0.RC1.alpha002-oe2203sp2

使用场景和适用范围

适用于需要在Nvidia、AMD、Ascend等不同硬件平台上部署和运行大语言模型的场景，可满足科研、开发及生产环境中LLM应用的快速部署需求。

使用方法和配置说明

前置准备

使用前需准备相应的硬件平台（如Nvidia、AMD或Ascend等），确保硬件驱动已正确安装。

容器启动示例

以Ascend平台启动chatglm2-6b容器为例，使用标签chatglm2_6b-pytorch2.1.0.a1-cann7.0.RC1.alpha002-oe2203sp2的命令如下：

bash
docker run --device /dev/davinci0 --device /dev/davinci_manager --device /dev/devmm_svm --device /dev/hisi_hdc \
-v /usr/local/dcmi:/usr/local/dcmi \
-v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
-v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \
-ti docker.xuanyuan.run/openeuler/cann:chatglm2_6b-pytorch2.1.0.a1-cann7.0.RC1.alpha002-oe2203sp2 bash

参数说明：

• --device：挂载Ascend设备节点
• -v：挂载宿主机上的必要驱动文件和工具
• -ti：以交互模式启动容器并分配伪终端