zipnn/vllm-openai Docker 镜像

zipnn-enhanced-vllm-openai 镜像文档

镜像概述

本镜像基于 vllm/vllm-openai 构建，在保留其原有功能的基础上，新增了对 zipnn 模型格式的加载支持。适用于需要部署支持 zipnn 压缩模型的大语言模型服务场景，可高效运行经过 zipnn 优化的模型。

核心功能与特性

• 继承基础功能：完整保留 vllm/vllm-openai 的所有核心能力，包括高效的大模型推理、OpenAI 兼容 API 接口、动态批处理等
• 新增 zipnn 支持：添加对 zipnn 模型格式的加载与推理支持，可直接加载 zipnn 压缩后的模型文件
• 无缝集成：zipnn 模型加载逻辑与原有 vllm 推理流程深度整合，保持低延迟和高吞吐量特性

使用场景

• 需要部署经过 zipnn 压缩优化的大语言模型服务
• 对模型存储空间或推理性能有优化需求的场景
• 需通过 OpenAI 兼容 API 访问 zipnn 模型的应用场景

使用方法

基本部署

使用 docker run 命令启动容器，需指定 zipnn 模型路径：

bash
docker run -d \
  --gpus all \
  -p 8000:8000 \
  -v /path/to/zipnn-model:/models/zipnn-model \
  docker.xuanyuan.run/zipnn-enhanced-vllm-openai \
  --model /models/zipnn-model \
  --port 8000

docker-compose 配置示例

yaml
version: '3'
services:
  zipnn-vllm:
    image: docker.xuanyuan.run/zipnn-enhanced-vllm-openai
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]
    ports:
      - "8000:8000"
    volumes:
      - /path/to/zipnn-model:/models/zipnn-model
    command: --model /models/zipnn-model --port 8000

关键配置参数

注意事项

• 确保宿主机已安装 NVIDIA 驱动和 Docker GPU 支持
• zipnn 模型文件需完整放置于挂载目录中，包含所有必要的配置和权重文件
• 其他使用方式与 vllm/vllm-openai 一致，可参考其官方文档获取更多配置选项