ai/qwen3

Qwen3

Qwen3 是 Qwen 大语言模型系列的最新一代产品，专注于在编码、数学、推理及语言任务中提供高性能表现。该模型包含密集型和混合专家（MoE）两种架构，可灵活部署于轻量化应用到大规模研究场景。

Qwen3 引入双推理模式：“思考模式”适用于复杂任务，“非思考模式”适用于快速响应，让用户能灵活调整模型性能。相比前代模型，它在推理能力、指令遵循、代码生成上表现更优，同时擅长创意写作和对话交互。此外，Qwen3 具备强大的代理能力与工具使用功能，支持超 100 种语言，适合多语言、多领域应用场景。

📌 特性

可用模型变体

¹：显存需求基于模型特性估算。

latest 标签对应 8B-Q4_K_M 变体。

预期用途

Qwen3-8B 设计用于多种高级自然语言处理任务，核心能力包括：

• 架构支持：兼容密集型和混合专家（MoE）模型架构，提供 0.6亿、17亿、40亿、80亿、140亿、320亿参数规模，以及 300亿（A3B）、2350亿（A22B）等大型 MoE 变体。
• 双模式切换：可在对话中动态调整推理模式
  • 思考模式：优化复杂逻辑推理、数学计算和代码生成场景；
  • 非思考模式：适用于高效的通用对话交互。
• 推理性能提升：在数学、代码生成和常识推理基准测试中，性能超过前代 QwQ（思考模式）和 Qwen2.5-Instruct（非思考模式）模型。
• 人类对齐能力：擅长创意写作、角色扮演、多轮对话和指令遵循，支持沉浸式交互。
• 代理能力：集成外部工具的能力突出，在复杂代理工作流中表现优异（覆盖思考/非思考模式）。
• 多语言支持：覆盖 100+ 语言及方言，具备稳定的多语言指令遵循和翻译能力。

注意事项

• 思考模式切换
  启用 enable_thinking=True 后，可通过 /think 和 /no_think 提示词触发软切换，在多轮对话中灵活控制模型推理深度。
• 工具调用与 Qwen-Agent
  处理代理任务时，建议使用 Qwen-Agent：通过内置模板和解析器简化外部工具集成，减少手动处理工具调用的工作量。

命名规则更新：Qwen3 模型采用新命名规则，微调模型不再包含 -Instruct 后缀（如 Qwen3-32B 替代 Qwen2.5-32B-Instruct），基础模型需添加 -Base 后缀。

使用 Docker Model Runner 运行模型

步骤 1：拉取模型

bash
docker model pull ai/qwen3

步骤 2：运行模型

bash
docker model run ai/qwen3

更多细节可参考 [Docker Model Runner 文档] 。

基准测试结果

相关链接

• [Qwen3：深入思考，快速响应]