ineil77/vllm

镜像概述和主要用途

该镜像基于vllm项目（commit: ***d243924fbede2d4360494a81dea7203334）的docker文件夹中Dockerfile进行修改，主要设计用于进程内使用场景，提供针对进程内部署优化的vllm运行环境。

核心功能和特性

• 基于vllm特定版本构建，确保与该commit的功能兼容性
• 针对进程内使用场景进行Dockerfile定制化修改（具体修改内容可参考此处）
• 保留vllm核心推理能力，同时优化进程内集成的环境配置

使用场景和适用范围

适用于需要将vllm集成到进程内环境的应用场景，包括：

• 进程内部署的AI推理服务
• 对环境隔离有特定要求的vllm应用
• 基于vllm特定版本进行定制化开发的场景

使用方法和配置说明

获取镜像

需基于修改后的Dockerfile进行本地构建：

1. 克隆vllm项目并切换至指定commit：

   bash
   git clone https://github.com/vllm-project/vllm.git
   cd vllm
   git checkout 156405d243924fbede2d4360494a81dea7203334
   

2. 应用Dockerfile修改（参考修改链接）
3. 构建镜像：

   bash
   docker build -t modified-vllm-inprocess -f docker/Dockerfile .
   

运行容器

根据进程内使用需求运行容器：

bash
docker run -it --rm modified-vllm-inprocess

配置说明

具体配置参数需根据修改后的Dockerfile内容调整，详细修改内容请参考Dockerfile修改链接。