oncord/vllm-openai-nvfp4

oncord/vllm-openai-nvfp4镜像说明

镜像概述

本镜像为vllm/vllm-openai nightly版本的复制，集成NVIDIA FP4精度优化，提供兼容OpenAI API规范的大语言模型推理服务，适用于需要高效处理大模型请求的场景，支持GPU加速以降低显存占用并提升性能。

核心功能

1. OpenAI API兼容：无缝对接遵循OpenAI API规范的应用，无需修改代码即可替换原有服务。
2. FP4精度优化：利用NVIDIA FP4量化技术，减少模型显存占用，同时保持推理质量。
3. 高效推理：支持批量请求处理，提升大模型服务的吞吐量和响应速度。
4. 多模型支持：兼容主流开源大语言模型（如Llama 2、GPT-Neo等）的部署。

使用场景

• 企业级大模型API服务搭建，为内部或外部用户提供稳定的推理接口。
• 科研机构进行大模型推理性能测试与优化实验。
• 开发基于大模型的应用原型，快速验证功能可行性。

配置说明

需运行在具备NVIDIA GPU的环境中（需安装NVIDIA Docker Runtime），可通过环境变量调整参数：

• MODEL：指定部署的大模型路径或名称（如llama-2-7b-chat-hf）。
• PORT：服务监听端口（默认8000）。
• MAX_BATCH_SIZE：最大批量处理请求数（根据GPU显存调整）。

部署示例

Docker Run命令

bash
docker run -d --gpus all \
  -p 8000:8000 \
  -e MODEL=llama-2-7b-chat-hf \
  oncord/vllm-openai-nvfp4

Docker Compose示例

yaml
version: '3.8'
services:
  vllm-service:
    image: oncord/vllm-openai-nvfp4
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]
    ports:
      - "8000:8000"
    environment:
      - MODEL=llama-2-7b-chat-hf
      - MAX_BATCH_SIZE=64