官方vLLM Ascend Docker镜像，基于openEuler构建，提供快速高效的LLM推理和服务能力，支持PagedAttention内存管理、连续批处理、多种量化技术及优化内核，适用于高性能语言模型部署。

该仓库用于托管vllm项目持续集成（CI）流程所需的镜像，旨在为vllm-ci相关的自动化构建、测试及部署环节提供稳定的镜像存储与管理支持，确保CI流程高效、可靠地运行，满足vllm项目在开发迭代过程中对集成环境的镜像需求，助力项目快速验证代码变更、保障软件质量。

rocm/vllm-dev是基于AMD ROCm平台的高性能大语言模型开发镜像，集成vllm框架与AMD GPU加速能力，专为开发者打造大语言模型部署、推理优化及二次开发环境。镜像预配置PyTorch、HIP等核心依赖，支持低延迟、高吞吐量的LLM推理，可快速进行模型加载、性能调优与多实例部署测试，助力开发者高效构建和调试大语言模型应用，充分发挥AMD GPU在AI计算中的算力优势。

这是为AMD图形处理器（GPU）量身打造的、基于ROCm开源平台深度优化的vLLM Docker容器，其中vLLM作为高性能大语言模型服务库，可提供高效推理与服务能力，Docker容器则保障了部署的便捷性与环境一致性，整体方案旨在为AMD GPU用户提供兼顾性能与易用性的优化大语言模型运行环境。

Kimi K2 Thinking是最新开源思考模型，作为能逐步推理并动态调用工具的思考代理，具备深度多步推理能力，支持200-300次连续工具调用，原生INT4量化实现低延迟和低GPU内存占用，上下文窗口达256k。

OpenAI的开源权重模型，专为强大的推理能力和代理任务设计，适用于多用途开发场景。

暂无描述

Qwen3是最新一代Qwen大语言模型，专为顶级编码、数学、推理和语言任务设计，支持密集型和混合专家模型架构，提供动态推理模式切换，适用于多语言多领域应用。

Google’s latest Gemma, small yet strong for chat and generation

GLM-4.7-Flash是顶级的30B-A3B混合专家模型，平衡了强大性能与高效部署，为轻量级部署提供兼顾性能与效率的新选择。

高级编码代理模型，拥有800亿参数（30亿激活MoE），专为编码代理和本地开发环境设计，具备高效代码生成、调试及工具调用能力，支持多种IDE平台集成。

DeepSeek-V3.2通过DeepSeek稀疏注意力(DSA)、可扩展强化学习框架和大规模智能体任务合成管道提升计算效率与推理能力，荣获2025年国际数学奥林匹克(IMO)和国际信息学奥林匹克(IOI)金牌。

SmolLM 2是为速度、边缘设备和本地开发构建的小型LLM系列，提供135M、360M、1.7B参数版本，以Safetensors格式打包并采用vLLM导向布局，便于通过Docker Hub分发。