Docker镜像搜索:vllm-openai - 轩辕镜像平台
vllm-openai 相关Docker镜像搜索结果(共4个)
vllm-openai 搜索结果统计说明
vllm-openai 搜索提示
vllm-openai 官方镜像筛选
vllm-openai 官方镜像列表
vllm-openai 官方镜像筛选说明
vllm-openai 认证发布者镜像筛选
vllm-openai 认证镜像列表
vllm-openai 认证镜像筛选说明
vllm-openai 相关镜像列表
vllm-openai 镜像卡片展示
vllm-openai 镜像详情说明
加载更多 vllm-openai 镜像
加载更多 vllm-openai 按钮
加载提示
vllm/vllm-openai
by vllm
vllm/vllm-openai:vLLM 高性能大模型推理框架的官方 Docker 镜像,封装 OpenAI API 兼容的推理服务;支持 PagedAttention 与连续批处理,吞吐量可达传统引擎 10-24 倍;支持 50+ 开源模型与量化方案,适用开源模型部署、OpenAI 应用本地化与高并发生产场景。
222 星标5M+ 次下载
上次更新:1 天前
lmcache/vllm-openai
by lmcache
暂无描述
8 星标50K+ 次下载
上次更新:1 天前
dengcao/vllm-openai
by dengcao
vLLM是一个快速且易用的大语言模型推理与服务库,最初由加州大学伯克利分校开发,采用PagedAttention技术优化内存使用,支持高吞吐量、低延迟的推理,兼容Hugging Face模型格式,可轻松部署各类LLM,适用于科研和生产环境,显著提升大语言模型的服务效率。
2 星标10K+ 次下载
上次更新:1 个月前
novitalabs/vllm-openai
by novitalabs
暂无描述
0 星标10K+ 次下载
上次更新:8 天前
第 1 页