ddhmed/vllm

ddhmed/vllm Docker镜像文档

镜像概述

该镜像基于nvidia/cuda:11.8.0-cudnn8-runtime-ubuntu20.04构建，旨在通过VLLM（高效大语言模型服务库）在本地环境运行大语言模型。集成了Gradio提供Web交互界面，支持GPU加速，适用于本地部署、开发和测试大语言模型应用。

核心功能和特性

• GPU加速支持：基于CUDA 11.8和cuDNN 8，可利用NVIDIA GPU进行高效模型推理
• VLLM集成：内置VLLM库，提供低延迟、高吞吐量的大语言模型服务
• Gradio界面：包含Gradio库，支持通过Web界面与模型交互
• 灵活挂载：支持本地模型目录挂载，方便加载自定义模型
• 多端口暴露：暴露8000端口（VLLM OpenAI兼容API服务）和7860端口（Gradio Web界面）

使用场景

• 本地部署大语言模型进行推理任务
• 开发和测试基于LLM的应用程序
• 需要GPU加速的大语言模型服务原型验证
• 构建轻量级本地LLM服务环境

使用方法

构建镜像（可选）

若需自行构建镜像，可使用以下命令：

bash
sudo docker build -t ddhmed/vllm:20240603 .

运行容器

CPU模式（不推荐，性能有限）

bash
sudo docker run --rm -v $PWD/models:/models -p 5000:5000 ddhmed/vllm:20240603

GPU模式（推荐）

需确保已安装NVIDIA Docker运行时，使用以下命令：

bash
sudo docker run --gpus all --rm -v $PWD/models:/models -p 5000:5000 ddhmed/vllm:20240603

交互式模式（进入容器）

bash
sudo docker run -it --gpus all --rm -v $PWD/models:/models -p 5000:5000 ddhmed/vllm:20240603 /bin/bash

访问服务

• VLLM API服务：通过http://localhost:8000访问
• Gradio Web界面：通过http://localhost:7860访问

配置说明

模型准备

1. 在宿主机创建models目录
2. 将大语言模型文件放入models/model目录（容器内路径为/models/model）

环境变量

• TZ=Asia/Shanghai：默认设置时区为上海，避免容器内时间异常

端口映射

• 8000：VLLM OpenAI兼容API服务端口
• 7860：Gradio Web界面端口
• 可通过-p 宿主机端口:容器端口自定义映射（如示例中的-p 5000:5000）

启动命令解析

容器启动时执行以下命令，同时启动VLLM API服务和Gradio应用：

bash
CUDA_VISIBLE_DEVICES=0 python -m vllm.entrypoints.openai.api_server --model './model' --served-model-name 'openchat' --port 8000 & python app.py

• CUDA_VISIBLE_DEVICES=0：指定使用第1块GPU（多GPU可调整）
• --model './model'：指定模型路径（容器内相对路径）
• --served-model-name 'openchat'：设置服务模型名称
• --port 8000：VLLM API服务端口
• python app.py：启动Gradio应用（需确保app.py在模型目录下或容器内正确路径）

防火墙设置

若无法访问服务，可能需要开放端口：

bash
sudo ufw allow 5000  # 允许映射的宿主机端口