rocm/vllm-dev是基于AMD ROCm平台的高性能大语言模型开发镜像,集成vllm框架与AMD GPU加速能力,专为开发者打造大语言模型部署、推理优化及二次开发环境。镜像预配置PyTorch、HIP等核心依赖,支持低延迟、高吞吐量的LLM推理,可快速进行模型加载、性能调优与多实例部署测试,助力开发者高效构建和调试大语言模型应用,充分发挥AMD GPU在AI计算中的算力优势。

20 次收藏下载次数: 0状态:社区镜像维护者:AMD ROCm 官方容器镜像仓库类型:镜像最近更新:
下载命令
点击查看

Development or prerelease dockers for vLLM on ROCm. For official upstream vLLM images, please use: https://hub.docker.com/r/vllm/vllm-openai-rocm/tags, or refer to https://docs.vllm.ai/en/latest/getting_started/installation/gpu/#build-image-from-source to build your own image.

镜像拉取方式

您可以使用以下命令拉取该镜像。请将 <标签> 替换为具体的标签版本。如需查看所有可用标签版本,请访问 标签列表页面。

轩辕镜像加速拉取命令点我查看更多 vllm-dev 镜像标签

docker pull docker.xuanyuan.run/rocm/vllm-dev:<标签>

DockerHub 原生拉取命令

docker pull rocm/vllm-dev:<标签>
专业版 · 高速稳定拉取镜像
50GB 仅 ¥8/年
高速镜像下载在线技术支持专业版保障服务可用付费会员免广告