vllm/vllm-openai:vLLM 高性能大模型推理框架的官方 Docker 镜像,封装 OpenAI API 兼容的推理服务;支持 PagedAttention 与连续批处理,吞吐量可达传统引擎 10-24 倍;支持 50+ 开源模型与量化方案,适用开源模型部署、OpenAI 应用本地化与高并发生产场景。

315 次收藏下载次数: 0状态:社区镜像维护者:vLLM 高性能推理与服务镜像仓库类型:镜像最近更新:
下载命令
点击查看

该镜像暂未提供详细介绍。建议查阅镜像官方文档,或联系镜像维护者获取功能说明、配置方法及使用建议。

vllm/vllm-openai Related Documentation

(8 articles)

镜像拉取方式

您可以使用以下命令拉取该镜像。请将 <标签> 替换为具体的标签版本。如需查看所有可用标签版本,请访问 标签列表页面。

轩辕镜像加速拉取命令点我查看更多 vllm-openai 镜像标签

docker pull docker.xuanyuan.run/vllm/vllm-openai:<标签>

DockerHub 原生拉取命令

docker pull vllm/vllm-openai:<标签>
专业版 · 高速稳定拉取镜像
50GB 仅 ¥8/年
高速镜像下载在线技术支持专业版保障服务可用付费会员免广告