siriwat007/vllm-openai-cuda125

siriwat007/vllm-openai-cuda125 镜像说明

镜像概述

本镜像基于CUDA12.5环境构建，集成vLLM高性能推理框架和OpenAI兼容的API接口，支持加载Hugging Face平台的大语言模型（如Qwen2.5系列），旨在为用户提供快速、高效的AI推理服务部署方案。

核心功能

1. 高性能推理：利用vLLM框架实现大模型的低延迟、高吞吐量推理
2. OpenAI兼容接口：提供与OpenAI Chat Completions一致的API格式，便于现有应用迁移
3. 模型灵活加载：支持Hugging Face Hub上的公开或私有模型（需配置token）
4. 资源可配置：可自定义CPU核心、共享内存、GPU资源等参数

使用场景

1. 开发AI聊天应用的后端推理服务
2. 本地或服务器端进行大语言模型的推理测试
3. 构建需要高效AI推理能力的应用场景

配置说明

• 依赖：需具备NVIDIA GPU及CUDA环境
• 环境变量：HUGGING_FACE_HUB_TOKEN（访问私有模型时必填）、CUDA_DEVICE_ORDER（指定GPU设备顺序）
• 资源参数：--cpuset-cpus（CPU核心范围）、--shm-size（共享内存大小）、--max-model-len（模型最大上下文长度）

部署示例

Docker Run命令

bash
CUDA_DEVICE_ORDER=PCI_BUS_ID CUDA_VISIBLE_DEVICES=1 \
docker run --rm \
  --runtime nvidia --gpus all \
  --cpuset-cpus="0-63" \
  -e CUDA_DEVICE_ORDER=PCI_BUS_ID \
  -v "$HF_HOME":/root/.cache/huggingface \
  -e HUGGING_FACE_HUB_TOKEN="$HUGGING_FACE_HUB_TOKEN" \
  -p 8000:8000 \
  --shm-size=4g \
  siriwat007/vllm-openai-cuda125 \
  --model Qwen/Qwen2.5-1.5B-Instruct \
  --max-model-len 8192

API调用示例

bash
curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "Qwen/Qwen2.5-1.5B-Instruct",
    "messages": [
      {"role": "system", "content": "You are a helpful assistant."},
      {"role": "user", "content": "what is Qwen2.5 and how relates to vLLM."}
    ],
    "max_tokens": 128
  }'