QwQ-32B是一个320亿参数的大语言模型,具备高级推理和智能,支持工具调用,适用于数学解题、代码生成与调试及通用问题解决,以高效性能著称。
QwQ
概述
QwQ-32B是一个拥有320亿参数的大语言模型,旨在提供高级推理和智能。其性能可与DeepSeek R1(6710亿参数模型,激活370亿参数)相媲美,凸显了经过优化的基础模型在广泛世界知识训练下的高效性。该模型集成类代理能力,能进行关键推理、使用工具,并根据实时环境反馈调整行为,通过深度思考和动态决策处理复杂任务。
主要用途
QwQ-32B专为需要高级推理和问题解决能力的任务设计:
- 数学问题解决:擅长复杂的数学计算和证明。
- 代码生成与调试:协助编写和调试多种编程语言的代码。
- 通用问题解决:为需要逻辑推理的各种挑战提供富有洞察力的解决方案。
核心特性
| 属性 | 详情 |
|---|---|
| 提供商 | 阿里巴巴 Cloud |
| 架构 | qwen2 |
| 知识截止日期 | - |
| 支持语言 | +29种 |
| 工具调用 | ✅ |
| 输入模态 | 文本 |
| 输出模态 | 文本 |
| 许可证 | https://github.com/QwenLM/QwQ/blob/main/LICENSE |
可用模型变体
| 模型变体 | 参数规模 | 量化方式 | 上下文窗口 | 显存¹ | 大小 |
|---|---|---|---|---|---|
ai/qwq:latestai/qwq:32B-Q4_K_M | 32B | IQ2_XXS/Q4_K_M | 41K tokens | 19.72 GiB | 18.48 GB |
ai/qwq:32B-Q4_0 | 32B | Q4_0 | 41K tokens | 18.60 GiB | 17.35 GB |
ai/qwq:32B-Q4_K_M | 32B | IQ2_XXS/Q4_K_M | 41K tokens | 19.72 GiB | 18.48 GB |
ai/qwq:32B-F16 | 32B | F16 | 41K tokens | 61.23 GiB | 61.03 GB |
¹: 显存基于模型特性估算。
latest→32B-Q4_K_M
使用方法(基于Docker Model Runner)
拉取模型
bashdocker model pull ai/qwq
运行模型
bashdocker model run ai/qwq
有关Docker Model Runner的更多信息,请https://docs.docker.com/desktop/features/model-runner/。
注意事项
- 语言混合与代码切换:模型可能意外切换语言,影响响应清晰度。
- 递归推理循环:可能出现循环推理模式,导致冗长、无结论的响应。建议使用Temperature=0.6、TopP=0.95、MinP=0避免此问题,并将TopK设置在20-40之间,以过滤罕见token同时保持输出多样性。
- 性能限制:虽然在数学和编码方面表现出色,但在常识推理和细微语言理解方面可能表现不佳。
相关链接
- https://qwenlm.github.io/blog/qwq-32b/
ai 命名空间的其他可用镜像:
ai/qwen3
Qwen3 大语言模型,适合 AI 应用开发
ai/deepseek-r1-distill-llama
DeepSeek R1 Distill Llama,大语言模型
ai/qwen3-embedding
Docker 官方模型镜像,Qwen3 文本嵌入与重排序,适合 RAG、语义检索与向量化流水线
ai/qwen3-vl
Docker 官方 Qwen3 多模态(VL)模型镜像,适合图文理解、视觉问答与多模态应用
ai/qwen3-vllm
Docker 官方 Qwen3 与 vLLM 推理组合镜像,适合高吞吐文本生成与 OpenAI 兼容 API 服务
ai/qwen3-embedding-vllm
Docker 官方 Qwen3 Embedding + vLLM 推理镜像,适合高吞吐语义检索与 RAG 向量化服务
镜像拉取方式
您可以使用以下命令拉取该镜像。请将 <标签> 替换为具体的标签版本。如需查看所有可用标签版本,请访问 标签列表页面。
DockerHub 原生拉取命令
docker model pull ai/qwq:<标签>
用户好评
来自真实用户的反馈,见证轩辕镜像的优质服务