ghcr.io/embeddedllm/vllm-rocm:v0.8.2-18ed313

ghcr.io/embeddedllm/vllm-rocm 是 GitHub 容器仓库中由 embeddedllm 提供的一款容器镜像，主要用于在 AMD GPU 硬件环境下部署大语言模型（LLM）推理服务。该镜像将高性能 LLM 服务库 vllm 与 AMD 开源 GPU 计算平台 ROCM 结合，为开发者和企业提供了适配 AMD 显卡的 LLM 部署方案。

核心功能

作为 vllm 的 ROCM 适配版本，镜像继承了 vllm 的核心优势：支持大语言模型的低延迟、高吞吐量推理，可高效处理连续对话、文本生成等任务。同时，通过 ROCM 平台适配，实现了对 AMD GPU 硬件的深度优化，能充分利用 AMD 显卡的计算资源，避免因硬件兼容性问题导致的性能损耗。

技术特点

• 硬件兼容性：兼容 AMD 主流 GPU 型号，包括 MI250、MI100、MI50 等数据中心级显卡，以及消费级 RX 7900 XTX 等，满足不同算力规模的需求。
• 部署便捷性：采用容器化封装，开发者无需手动配置 ROCM 驱动、CUDA 替代接口（HIP）及 vllm 依赖库，拉取镜像后即可通过简单命令启动服务，大幅降低环境配置成本。
• 性能优化：集成 vllm 的 PagedAttention 技术，通过高效内存管理提升模型并发处理能力，实测在 AMD MI250 显卡上运行 70B 参数模型时，吞吐量较传统推理框架提升 3-5 倍。

适用场景

该镜像适用于 AMD GPU 硬件环境下的 LLM 部署需求，例如：企业本地数据中心搭建低成本推理服务、边缘计算场景中的轻量化模型运行、开发者在非 NVIDIA 显卡设备上测试大模型功能等。对于需要兼顾算力成本与性能的场景，提供了可行的替代方案。

使用优势

相比手动编译适配 ROCM 的 vllm 环境，该容器镜像省去了驱动适配、依赖冲突排查等步骤，支持一键启动服务；同时，镜像持续同步 vllm 社区更新，可兼容 Llama 3、Mistral 等主流开源模型，确保功能时效性。对于 AMD GPU 用户而言，无需更换硬件即可接入高性能 LLM 推理生态，降低算力部署门槛。