Qwen3 Embedding是Qwen系列最新专有模型，专为文本嵌入和排序任务设计，提供0.6B、4B和8B多种尺寸，具备出色的多语言能力、长文本理解和推理技能，适用于文本检索、代码检索、分类、聚类等任务。

vllm/vllm-openai：vLLM 高性能大模型推理框架的官方 Docker 镜像，封装 OpenAI API 兼容的推理服务；支持 PagedAttention 与连续批处理，吞吐量可达传统引擎 10-24 倍；支持 50+ 开源模型与量化方案，适用开源模型部署、OpenAI 应用本地化与高并发生产场景。

vLLM框架在TPU上运行的Docker镜像仓库

暂无描述

Qwen3是最新一代Qwen大语言模型，专为顶级编码、数学、推理和语言任务设计，支持密集型和混合专家模型架构，提供动态推理模式切换，适用于多语言多领域应用。

暂无描述

高级编码代理模型，拥有800亿参数（30亿激活MoE），专为编码代理和本地开发环境设计，具备高效代码生成、调试及工具调用能力，支持多种IDE平台集成。

暂无描述

暂无描述

Qwen3 Embedding是Qwen系列最新专有模型，专为文本嵌入和排序任务设计，支持119种语言，提供0.6B、4B、8B等多种尺寸模型，适用于文本检索、代码检索、分类、聚类、平行文本挖掘等高级任务。

Qwen3是通义千问系列最新推出的大语言模型，作为新一代人工智能技术成果，它专为顶尖级代码编写、数学计算、逻辑推理及语言处理任务打造，凭借先进的算法架构与深度优化的模型性能，能够高效应对多领域复杂场景下的专业需求，为用户提供精准、智能的解决方案，展现出在技术研发与应用落地中的卓越潜力。

多语言重排序模型，用于文本检索，可跨119种语言对文档相关性进行评分，基于Qwen3系列基础模型，具备多语言能力、长文本理解和推理技能。

暂无描述

该仓库用于托管vllm项目持续集成（CI）流程所需的镜像，旨在为vllm-ci相关的自动化构建、测试及部署环节提供稳定的镜像存储与管理支持，确保CI流程高效、可靠地运行，满足vllm项目在开发迭代过程中对集成环境的镜像需求，助力项目快速验证代码变更、保障软件质量。

Qwen系列迄今最强大的视觉语言模型，全面升级文本理解生成、视觉感知推理、上下文长度、空间和视频动态理解能力，具备视觉代理、视觉编码增强、高级空间感知等核心特性。

Qwen3-Coder是Qwen推出的新一代智能编码代理模型系列。

rocm/vllm-dev是基于AMD ROCm平台的高性能大语言模型开发镜像，集成vllm框架与AMD GPU加速能力，专为开发者打造大语言模型部署、推理优化及二次开发环境。镜像预配置PyTorch、HIP等核心依赖，支持低延迟、高吞吐量的LLM推理，可快速进行模型加载、性能调优与多实例部署测试，助力开发者高效构建和调试大语言模型应用，充分发挥AMD GPU在AI计算中的算力优势。

397B MoE model with 17B activation for reasoning, coding, agents, and multimodal understanding

这是为AMD图形处理器（GPU）量身打造的、基于ROCm开源平台深度优化的vLLM Docker容器，其中vLLM作为高性能大语言模型服务库，可提供高效推理与服务能力，Docker容器则保障了部署的便捷性与环境一致性，整体方案旨在为AMD GPU用户提供兼顾性能与易用性的优化大语言模型运行环境。

Qwen3-Coder-Next是专为编码代理和本地开发设计的开源语言模型，采用混合专家（MoE）架构，80B总参数中仅激活3B参数实现高效运行，具备256K上下文长度和强大的代理能力，适用于动态编码任务。

Kimi K2 Thinking是最新开源思考模型，作为能逐步推理并动态调用工具的思考代理，具备深度多步推理能力，支持200-300次连续工具调用，原生INT4量化实现低延迟和低GPU内存占用，上下文窗口达256k。

暂无描述

OpenAI的开源权重模型，专为强大的推理能力和代理任务设计，适用于多用途开发场景。

Google’s latest Gemma, small yet strong for chat and generation

GLM-4.7-Flash是顶级的30B-A3B混合专家模型，平衡了强大性能与高效部署，为轻量级部署提供兼顾性能与效率的新选择。

暂无描述

DeepSeek-V3.2通过DeepSeek稀疏注意力(DSA)、可扩展强化学习框架和大规模智能体任务合成管道提升计算效率与推理能力，荣获2025年国际数学奥林匹克(IMO)和国际信息学奥林匹克(IOI)金牌。

多语言重排序模型，用于文本检索，支持119种语言的文档相关性评分。

SmolLM 2是为速度、边缘设备和本地开发构建的小型LLM系列，提供135M、360M、1.7B参数版本，以Safetensors格式打包并采用vLLM导向布局，便于通过Docker Hub分发。

官方vLLM Ascend Docker镜像，基于openEuler构建，提供快速高效的LLM推理和服务能力，支持PagedAttention内存管理、连续批处理、多种量化技术及优化内核，适用于高性能语言模型部署。

all-MiniLM-L6-v2是一个sentence-transformers模型，可将句子和段落映射到384维密集向量空间，适用于聚类或语义搜索等任务。

Embedding Gemma是Google DeepMind推出的最先进文本嵌入模型，基于Gemma架构创建高质量文本向量表示，能捕捉语义含义，适用于检索增强生成（RAG）、语义搜索及相似性任务，为嵌入类应用提供强大基础。

Ministral 3是紧凑高效的多模态语言模型，支持视觉和文本输入，性能接近24B模型，专为边缘部署和本地推理优化，适用于资源受限环境。

官方vLLM Ascend Docker镜像，基于openEuler构建，是社区维护的硬件插件，用于在Ascend NPU上无缝运行vLLM，支持Transformer、MoE、Embedding、多模态等多种开源模型，遵循硬件可插拔接口规范。

3970亿参数的混合专家（MoE）多模态大语言模型，仅激活170亿参数实现高效推理，支持262K原生上下文（可扩展至100万），支持201种语言和图像输入，适用于企业级复杂任务如文档分析、多轮对话和agent工作流。

暂无描述

Embedding Gemma是Google DeepMind推出的最先进文本嵌入模型，能将文本转换为捕获语义含义的密集向量嵌入，适用于检索增强生成(RAG)、语义搜索和相似性任务。

暂无描述

基于CLIP的多模态嵌入服务微服务，通过OpenAI兼容API提供视频、图像和文本的高维语义嵌入，支持跨模态检索、视觉搜索和内容推荐，优化性能与可扩展性，适用于云及边缘环境部署。

FunctionGemma是一个270M参数的开放模型，基于Gemma 3构建，专为纯文本函数调用训练，可微调为高效、离线运行的专用代理，适用于资源受限设备。

DeepSeek-R1-0528-Qwen3-8B模型Docker镜像，基于Qwen3-8B通过蒸馏DeepSeek-R1-0528思维链构建，显著提升推理深度与复杂任务处理能力，适用于数学推理、代码生成等场景，支持系统提示与低幻觉率，性能达开源模型SOTA水平。

Granite Embedding Multilingual是IBM开发的2.78亿参数编码器式XLM-RoBERTa风格密集双编码器模型，可生成768维高质量多语言文本嵌入，优化用于12种主要语言的语义相似性、检索和搜索任务，遵循Apache 2.0许可。

Intel优化的轻量级文本嵌入容器，基于UAE-Large-v1蒸馏，使用sentence-transformers和Intel Extension for Pytorch，适用于NLP任务，23M参数，输入序列长度512，输出嵌入大小512，MTEB检索和STS任务准确率分别为46%和82%。

暂无描述

暂无描述

暂无描述

暂无描述

暂无描述

暂无描述

暂无描述

暂无描述

暂无描述

暂无描述

NVIDIA Jetson 平台优化的大语言模型推理服务框架

暂无描述