lavd/vllm

镜像概述

本Docker镜像通过bash脚本构建，基于jasl维护的vllm仓库特定分支（codex/ds4-sm120-min-enable），目标为vllm-openai，旨在提供可部署的OpenAI兼容API服务环境，适用于需要运行Deepseek4模型的场景。

核心功能与特性

• 指定代码源：克隆jasl/vllm仓库的codex/ds4-sm120-min-enable分支，确保使用特定版本代码
• Docker Buildkit构建：启用DOCKER_BUILDKIT=1优化构建过程
• 目标镜像明确：构建目标为vllm-openai，专注于OpenAI API兼容服务
• 预编译优化：通过构建参数VLLM_USE_PRECOMPILED=1启用预编译，提升运行效率
• 资源控制：设置构建参数max_jobs=8（控制并行任务数）和nvcc_threads=2（控制NVCC编译线程数），平衡构建性能与资源占用
• 版本标记：镜像标签为vllm-jasl-dsv4:5-12-26，便于版本管理

使用场景

适用于需要部署支持Deepseek4模型的OpenAI兼容API服务的环境，可用于开发、测试或生产环境中提供大语言模型推理服务。

使用方法与配置说明

前提条件

• 已安装Docker且支持Buildkit
• 具备Git环境
• 网络可访问GitHub仓库（https://github.com/jasl/vllm.git%EF%BC%89

构建步骤

1. 创建并执行bash脚本
   将以下内容保存为build-image.sh，并赋予执行权限：

   bash
   #!/usr/bin/env bash
   set -e
   
   rm -rf vllm-src
   git clone --depth=1 --branch codex/ds4-sm120-min-enable https://github.com/jasl/vllm.git vllm-src
   cd vllm-src
   
   DOCKER_BUILDKIT=1 docker build . --target vllm-openai --tag vllm-jasl-dsv4:5-12-26 --file docker/Dockerfile    --build-arg VLLM_USE_PRECOMPILED=1 --build-arg max_jobs=8 --build-arg nvcc_threads=2
   

2. 执行构建
   运行脚本：

   bash
   chmod +x build-image.sh
   ./build-image.sh
   

构建参数说明

镜像使用

构建完成后，可通过以下命令查看镜像：

bash
docker images | grep vllm-jasl-dsv4:5-12-26

后续可基于此镜像启动容器，部署OpenAI兼容API服务（具体启动命令需参考vllm-openai目标镜像的使用文档）。