rocm/vllm-dev是基于AMD ROCm平台的高性能大语言模型开发镜像,集成vllm框架与AMD GPU加速能力,专为开发者打造大语言模型部署、推理优化及二次开发环境。镜像预配置PyTorch、HIP等核心依赖,支持低延迟、高吞吐量的LLM推理,可快速进行模型加载、性能调优与多实例部署测试,助力开发者高效构建和调试大语言模型应用,充分发挥AMD GPU在AI计算中的算力优势。
Development or prerelease dockers for vLLM on ROCm. For official upstream vLLM images, please use: https://hub.docker.com/r/vllm/vllm-openai-rocm/tags, or refer to https://docs.vllm.ai/en/latest/getting_started/installation/gpu/#build-image-from-source to build your own image.
rocm 命名空间的其他可用镜像:
rocm/vllm
vLLM 推理服务,ROCm GPU 优化版本
rocm/pytorch
PyTorch 机器学习框架,ROCm GPU 加速版本
rocm/vllm-ci
ROCm 场景下的 vLLM CI/构建相关镜像,适合 AMD GPU 大模型流水线验证
rocm/sgl-dev
ROCm SGLang 开发镜像,适合 AMD GPU 大模型推理开发
rocm/k8s-device-plugin
ROCm Kubernetes Device Plugin,适合 AMD GPU 在 K8s 中调度
rocm/pytorch-training
Pytorch Training 容器镜像,适合 rocm 维护的 Pytorch Training 工作负载部署
镜像拉取方式
您可以使用以下命令拉取该镜像。请将 <标签> 替换为具体的标签版本。如需查看所有可用标签版本,请访问 标签列表页面。
DockerHub 原生拉取命令
docker pull rocm/vllm-dev:<标签>
用户好评
来自真实用户的反馈,见证轩辕镜像的优质服务