ozziemoreno/vllm

镜像概述

本仓库用于个人测试和实验，镜像基于https://github.com/vllm-project/vllm%E7%9A%84%60Dockerfile.rocm%60%E6%9E%84%E5%BB%BA%EF%BC%8C%E4%B8%BB%E8%A6%81%E7%94%A8%E4%BA%8E%E9%AA%8C%E8%AF%81GitHub Action与vllm主仓库的兼容性。

核心功能和特性

• ROCm支持：镜像包含ROCm支持，适用于AMD GPU环境
• 灵活的基础镜像：基础镜像可选择rocm/pytorch官方镜像或自定义基础镜像

使用场景

• 个人测试GitHub Action与vllm主仓库的集成
• 实验性构建基于ROCm的vllm镜像
• 验证vllm在ROCm环境下的功能和性能

使用方法

构建镜像

基于vllm项目的Dockerfile.rocm构建，可指定基础镜像：

bash
# 使用rocm/pytorch基础镜像构建
docker build -f Dockerfile.rocm -t vllm-rocm-test .

# 或使用自定义基础镜像构建（需修改Dockerfile.rocm中的基础镜像指定）

运行容器

根据实际需求运行容器，具体命令需结合vllm的运行参数：

bash
docker run -it --rm --device=/dev/kfd --device=/dev/dri vllm-rocm-test

注意：实际使用时需根据vllm的具体要求配置容器参数，如端口映射、模型挂载等。