dengcao/vllm

vLLM Docker镜像文档

镜像概述

vLLM Docker镜像是基于vLLM库构建的容器化解决方案，专为大型语言模型（LLM）的推理与服务场景设计。vLLM库以其高效的推理性能和易用性著称，通过优化的注意力机制实现高吞吐量和低延迟，支持多种主流LLM模型的快速部署与服务。

核心功能与特性

• 高效推理性能：采用PagedAttention技术优化内存使用，显著提升吞吐量并降低延迟
• 广泛模型支持：兼容GPT-2、GPT-NeoX、LLaMA系列、OPT等多种主流LLM架构
• 灵活部署方式：支持单机部署和分布式部署，适应不同规模的服务需求
• 易用API接口：提供与OpenAI兼容的API，便于现有应用快速集成
• 动态批处理：自动优化请求批处理策略，最大化资源利用率

使用场景

• LLM服务部署：为生产环境提供高性能的语言模型推理服务
• AI应用开发：支持开发者快速构建基于LLM的应用原型和产品
• 模型测试与评估：便捷地测试不同LLM模型的性能和效果
• 教育与研究：为学术研究和教学提供高效的LLM实验环境

使用方法

基本部署（Docker Run）

bash
docker run -d --gpus all -p 8000:8000 -v /path/to/model:/model vllm/vllm-openai:latest \
  --model /model \
  --port 8000 \
  --host 0.0.0.0

Docker Compose配置

yaml
version: '3'
services:
  vllm:
    image: vllm/vllm-openai:latest
    ports:
      - "8000:8000"
    volumes:
      - /path/to/model:/model
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]
    command: --model /model --port 8000 --host 0.0.0.0

配置参数

核心启动参数

环境变量配置

接口调用示例

通过HTTP API调用服务：

bash
curl http://localhost:8000/v1/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "model-name",
    "prompt": "Hello, world!",
    "max_tokens": 100
  }'

注意事项

• 确保主机已安装NVIDIA Docker运行时，以支持GPU加速
• 模型文件需提前下载或挂载至容器内指定路径
• 大模型部署建议使用至少16GB显存的GPU设备
• 生产环境中建议配置适当的资源限制和监控