embedl/vllm

Embedl优化vLLM容器镜像

镜像概述

本镜像由Embedl维护，基于vLLM（高性能LLM服务库）构建，提供经过优化的容器化运行环境，旨在简化大型语言模型的部署流程，提升模型服务的吞吐量与响应速度。

核心功能与特性

• 性能优化：集成vLLM核心技术（如PagedAttention），实现高吞吐量、低延迟的LLM推理
• 易于部署：容器化封装，减少环境配置复杂度，支持快速启动
• 兼容性：兼容主流LLM模型格式，支持多种模型加载与运行
• 维护支持：由Embedl团队持续维护更新，确保安全性与稳定性

使用场景与适用范围

• 研究机构：快速搭建LLM实验环境，验证模型性能
• 企业应用：部署生产级LLM服务，支持对话系统、文本生成等应用
• 开发测试：简化LLM应用开发过程中的环境配置与依赖管理

使用方法与配置说明

基本运行命令

bash
docker run -d --name vllm-service -p 8000:8000 embedl/vllm:latest --model <模型路径或名称>

关键参数说明

• --model：指定要加载的LLM模型路径或Hugging Face模型名称（如meta-llama/Llama-2-7b-chat-hf）
• -p 8000:8000：映射容器端口到主机，默认API服务端口为8000
• --port：自定义服务端口（如--port 8080）
• --max-num-batches：设置最大批处理数量，优化并发性能

示例：部署Llama-2-7B模型

bash
docker run -d --gpus all --name llama2-service -p 8000:8000 embedl/vllm:latest \
  --model meta-llama/Llama-2-7b-chat-hf \
  --tensor-parallel-size 1 \
  --max-num-seqs 256

docker-compose配置示例

yaml
version: '3'
services:
  vllm:
    image: embedl/vllm:latest
    ports:
      - "8000:8000"
    volumes:
      - ./models:/models  # 挂载本地模型目录
    command: --model /models/llama-2-7b-chat --port 8000
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: 1
              capabilities: [gpu]

注意事项

• 运行需要NVIDIA GPU支持，建议使用CUDA 11.7+环境
• 首次运行会自动下载模型（如使用Hugging Face模型名称），需确保网络通畅
• 根据模型大小调整GPU资源配置，避免内存不足