vllm/vllm-openai:vLLM 高性能大模型推理框架的官方 Docker 镜像,封装 OpenAI API 兼容的推理服务;支持 PagedAttention 与连续批处理,吞吐量可达传统引擎 10-24 倍;支持 50+ 开源模型与量化方案,适用开源模型部署、OpenAI 应用本地化与高并发生产场景。
该镜像暂未提供详细介绍。建议查阅镜像官方文档,或联系镜像维护者获取功能说明、配置方法及使用建议。
更多相关 Docker 镜像与资源
以下是 vllm/vllm-openai 相关的常用 Docker 镜像,适用于 不同场景 等不同场景:
vllm/vllm-openai Related Documentation
(8 articles)镜像拉取方式
您可以使用以下命令拉取该镜像。请将 <标签> 替换为具体的标签版本。如需查看所有可用标签版本,请访问 标签列表页面。
轩辕镜像加速拉取命令点我查看更多 vllm-openai 镜像标签
docker pull docker.xuanyuan.run/vllm/vllm-openai:<标签>
DockerHub 原生拉取命令
docker pull vllm/vllm-openai:<标签>
用户好评
来自真实用户的反馈,见证轩辕镜像的优质服务


