Ministral 3是紧凑高效的多模态语言模型，支持视觉和文本输入，性能接近24B模型，专为边缘部署和本地推理优化，适用于资源受限环境。

该仓库用于托管vllm项目持续集成（CI）流程所需的镜像，旨在为vllm-ci相关的自动化构建、测试及部署环节提供稳定的镜像存储与管理支持，确保CI流程高效、可靠地运行，满足vllm项目在开发迭代过程中对集成环境的镜像需求，助力项目快速验证代码变更、保障软件质量。

rocm/vllm-dev是基于AMD ROCm平台的高性能大语言模型开发镜像，集成vllm框架与AMD GPU加速能力，专为开发者打造大语言模型部署、推理优化及二次开发环境。镜像预配置PyTorch、HIP等核心依赖，支持低延迟、高吞吐量的LLM推理，可快速进行模型加载、性能调优与多实例部署测试，助力开发者高效构建和调试大语言模型应用，充分发挥AMD GPU在AI计算中的算力优势。

这是为AMD图形处理器（GPU）量身打造的、基于ROCm开源平台深度优化的vLLM Docker容器，其中vLLM作为高性能大语言模型服务库，可提供高效推理与服务能力，Docker容器则保障了部署的便捷性与环境一致性，整体方案旨在为AMD GPU用户提供兼顾性能与易用性的优化大语言模型运行环境。

Ministral 3是支持视觉的紧凑型语言模型，性能接近24B模型，专为本地边缘部署和推理优化，适用于聊天应用、助手、设备端推理及多模态场景。

Google’s latest Gemma, small yet strong for chat and generation

DeepSeek-V3.2通过DeepSeek稀疏注意力(DSA)、可扩展强化学习框架和大规模智能体任务合成管道提升计算效率与推理能力，荣获2025年国际数学奥林匹克(IMO)和国际信息学奥林匹克(IOI)金牌。

vllm/vllm-openai：vLLM 高性能大模型推理框架的官方 Docker 镜像，封装 OpenAI API 兼容的推理服务；支持 PagedAttention 与连续批处理，吞吐量可达传统引擎 10-24 倍；支持 50+ 开源模型与量化方案，适用开源模型部署、OpenAI 应用本地化与高并发生产场景。

vLLM框架在TPU上运行的Docker镜像仓库

暂无描述

暂无描述

NVIDIA Jetson 平台优化的大语言模型推理服务框架

暂无描述

暂无描述

暂无描述

基于VLLM项目的VLLM模型部署与服务镜像

vLLM构建镜像用于构建高性能大语言模型服务环境，支持快速部署及推理性能优化。

暂无描述

暂无描述

暂无描述

基于vllm/vllm-openai修改的Docker镜像，支持通过PARAMS参数传递命令行参数，适用于运行语言模型；x.y.z.1标签包含固定版本hermes-tool-parser，启用时需使用--tool-call-parser hermes_fixed选项。

vLLM是一个快速且易用的大语言模型推理与服务库，最初由加州大学伯克利分校开发，采用PagedAttention技术优化内存使用，支持高吞吐量、低延迟的推理，兼容Hugging Face模型格式，可轻松部署各类LLM，适用于科研和生产环境，显著提升大语言模型的服务效率。

vLLM是一款高性能大型语言模型服务库，适用于AMD gfx906系列显卡，例如镭龙VII（Radeon VII）、MI50及MI60等型号，能够为这些AMD显卡提供高效的大型语言模型部署与运行支持，助力用户在相关硬件平台上实现高性能的AI推理与服务。

暂无描述