mutazai/optimized-vllm-sota-cuda13
mutazai
这是一个基于CUDA13.0优化的vLLM推理镜像，支持Blackwell、H100/A100等GPU，提供7层优化栈（含NVFP4量化、FlashInfer加速等），大幅缩短部署时间与推理延迟，可快速搭建高效LLM推理服务。
下载次数: 0状态：社区镜像维护者：mutazai仓库类型：镜像最近更新：7 个月前
让 AI 帮你使用轩辕镜像？ · 展开查看说明 · 点击收起说明
如果你使用 DeepSeek、元宝 AI、Copilot、ChatGPT 等 AI 工具，协助配置轩辕镜像、编写 docker pull 命令、修改 Docker Compose 镜像地址、配置镜像加速、排查镜像拉取失败、分析报错日志等问题，请先让 AI 阅读并遵守轩辕镜像的规则文档。
只需在 AI 对话中先发送下面这句话即可：
请先完整阅读并严格遵守以下文档中的全部规则与要求：
https://xuanyuan.cloud/agents.md
在未充分阅读并理解该文档前，不要生成任何命令、配置、修改建议、故障排查方案或技术回答。后续所有输出都必须严格以该文档中的规范为最高优先级执行。查看 agents.md 用法指南与完整示范。国内用户首推 元宝 AI、DeepSeek 的深度思考模式，不推荐豆包 AI；Cursor 等编辑器可在对话 @ 该链接，或加入 User Rules。 若 AI 无法访问外链，可 打开说明文档 复制全文粘贴。文档会随站点更新，复制内容可能过期，建议定期检查。
ELK-AI | 优化版vLLM SOTA镜像（CUDA13.0）
基础镜像 | NVFP4就绪 | Blackwell原生支持
Mutaz Al Awamleh | ELK-AI
镜像概述
这是ELK-AI推出的最先进vLLM推理优化镜像，基于CUDA13.0构建，整合预编译内核、CUDA图优化及生产级配置，解决传统LLM推理栈中的编译耗时、架构兼容性差等问题，将部署时间从数周缩短至30秒。
核心功能
- 7层优化栈：
- 第7层：NVFP4量化（减少21%内存占用）
- 第6层：FP8 KV缓存（延长2倍上下文长度）
- 第5层：FlashInfer 0.2.6（解码速度提升3倍）
- 第4层：CUDA图优化（预热速度提升6倍）
- 第3层：Mamba SSM 2.2.4（支持状态空间模型）
- 第2层：vLLM V1引擎（最优批处理）
- 第1层：CUDA13.0 + SM121（Blackwell原生支持）
- 预编译支持：针对SM80-SM121架构预编译FlashInfer，避免2小时以上的编译等待
- 多架构兼容：预构建Mamba SSM适配所有NVIDIA GPU架构
- 简化配置：提供经过实战验证的配置，减少50+未文档化环境变量的调试成本
使用场景
- LLM推理服务快速部署
- 大规模语言模型应用开发与测试
- 需要高效推理的AI助手、内容生成、代码辅助等场景
- 基于Blackwell/H100/A100 GPU的高性能推理任务
配置说明
硬件要求
| 要求 | 最低标准 |
|---|---|
| VRAM | 因模型而异 |
| GPU | 任意NVIDIA GPU |
| CUDA | 12.0+ |
快速启动
bashdocker run --gpus all -p 8000:8000 docker.xuanyuan.run/elkaioptimization/optimized-vllm-sota-cuda13:1.0
ELK-AI更多模型
| 模型 | 大小 | 链接 |
|---|---|---|
| Qwen3-VL-2B | 2.1 GB | https://hub.docker.com/r/elkaioptimization/qwen3-vl-2b-thinking-nvfp4-vllm-cuda13 |
| Qwen3-VL-4B | 4.2 GB | https://hub.docker.com/r/elkaioptimization/qwen3-vl-4b-thinking-nvfp4-vllm-cuda13 |
| Qwen3-VL-8B | 8.4 GB | https://hub.docker.com/r/elkaioptimization/qwen3-vl-8b-thinking-nvfp4-vllm-cuda13 |
| Nemotron3-30B | 31.5 GB | https://hub.docker.com/r/elkaioptimization/nemotron3-30b-nvfp4-vllm-cuda13 |
| Nemotron-VL-12B | 12.6 GB | https://hub.docker.com/r/elkaioptimization/nemotron-vl-12b-nvfp4-vllm-cuda13 |
| Devstral-24B | 53.8 GB | https://hub.docker.com/r/elkaioptimization/devstral-small-2-24b-fp8-vllm-cuda13 |
| vLLM Base | 11.8 GB | https://hub.docker.com/r/elkaioptimization/vllm-nvfp4-cuda-13 |
| vLLM Blackwell | 11.8 GB | https://hub.docker.com/r/elkaioptimization/vllm-blackwell-cuda13-optimized |
**ELK-AI** — 从数周部署到30秒启动
LinkedIn | 官网 | https://hub.docker.com/u/elkaioptimization
镜像拉取方式
您可以使用以下命令拉取该镜像。请将 <标签> 替换为具体的标签版本。如需查看所有可用标签版本，请访问 标签列表页面。
轩辕镜像加速拉取命令点我查看更多 optimized-vllm-sota-cuda13 镜像标签
docker pull docker.xuanyuan.run/mutazai/optimized-vllm-sota-cuda13:<标签>
DockerHub 原生拉取命令
docker pull mutazai/optimized-vllm-sota-cuda13:<标签>
镜像拉取常见问题
功能
错误码
用户好评
来自真实用户的反馈，见证轩辕镜像的优质服务
oldzhang
运维工程师
Linux服务器
5
"Docker访问体验非常流畅，大镜像也能快速完成下载。"