ai/qwen3-vllm

Qwen3

!https://github.com/docker/model-cards/raw/refs/heads/main/logos/***

Qwen3是Qwen大语言模型家族的最新一代，旨在在编码、数学、推理和语言任务中提供顶级性能。它包含密集型和混合专家（MoE）模型，支持从轻型应用到大规模研究的灵活部署。

Qwen3引入双推理模式——"思考"模式用于复杂任务，"非思考"模式用于快速响应，为用户提供动态性能控制。它在推理、指令遵循和代码生成方面优于前代模型，同时在创意写作和对话方面表现出色。

凭借强大的代理和工具使用能力以及对100多种语言的支持，Qwen3针对多语言、多领域应用进行了优化。

📌 特性

🧠 预期用途

Qwen3-8B适用于广泛的高级自然语言处理任务：

• 支持密集型和混合专家（MoE） 模型架构，提供多种尺寸选择，包括0.6B、1.7B、4B、8B、14B、32B以及大型MoE变体（如30B-A3B和235B-A22B）。
• 支持思考与非思考模式无缝切换：
  • 思考模式：针对复杂逻辑推理、数学和代码生成优化。
  • 非思考模式：针对高效、通用对话和聊天优化。
• 推理性能显著提升，在数学、代码生成和常识推理基准测试中优于前代QwQ（思考模式）和Qwen2.5-Instruct（非思考模式）模型。
• 卓越的人类对齐能力，在以下方面表现突出：创意写作、角色扮演、多轮对话、沉浸式对话指令遵循。
• 强大的代理能力，包括：外部工具集成，以及在思考和非思考模式下复杂基于代理的工作流中的最佳性能。
• 支持100多种语言和方言，具备强大的多语言指令遵循和翻译能力。

注意事项

• 思考模式切换
  Qwen3支持通过/think和/no_think提示词进行软切换（当enable_thinking=True时）。这允许在多轮对话中动态控制模型的推理深度。
• 使用Qwen-Agent进行工具调用
  对于代理任务，使用Qwen-Agent，它通过内置模板和解析器简化外部工具集成，减少手动工具调用处理需求。

注意：Qwen3模型采用新命名约定：后训练模型不再包含-Instruct后缀（例如，Qwen3-32B替代Qwen2.5-32B-Instruct），基础模型现在以-Base结尾。

🐳 使用Docker Model Runner运行模型

首先拉取模型：

bash
docker model pull ai/qwen3-vllm

然后运行模型：

bash
docker model run ai/qwen3-vllm

更多信息，请查看Docker Model Runner文档。

基准测试

🔗 链接

• https://qwenlm.github.io/blog/qwen3/