qwq

ai/qwq Docker Image

QwQ-32B是一个320亿参数的大语言模型,具备高级推理和智能,支持工具调用,适用于数学解题、代码生成与调试及通用问题解决,以高效性能著称。

3 次收藏下载次数: 0状态:社区镜像维护者:Docker AI 官方镜像仓库类型:镜像最近更新:

QwQ

概述

QwQ-32B是一个拥有320亿参数的大语言模型,旨在提供高级推理和智能。其性能可与DeepSeek R1(6710亿参数模型,激活370亿参数)相媲美,凸显了经过优化的基础模型在广泛世界知识训练下的高效性。该模型集成类代理能力,能进行关键推理、使用工具,并根据实时环境反馈调整行为,通过深度思考和动态决策处理复杂任务。

主要用途

QwQ-32B专为需要高级推理和问题解决能力的任务设计:

  • 数学问题解决:擅长复杂的数学计算和证明。
  • 代码生成与调试:协助编写和调试多种编程语言的代码。
  • 通用问题解决:为需要逻辑推理的各种挑战提供富有洞察力的解决方案。

核心特性

属性详情
提供商阿里巴巴 Cloud
架构qwen2
知识截止日期-
支持语言+29种
工具调用✅
输入模态文本
输出模态文本
许可证https://github.com/QwenLM/QwQ/blob/main/LICENSE

可用模型变体

模型变体参数规模量化方式上下文窗口显存¹大小
ai/qwq:latest

ai/qwq:32B-Q4_K_M
32BIQ2_XXS/Q4_K_M41K tokens19.72 GiB18.48 GB
ai/qwq:32B-Q4_032BQ4_041K tokens18.60 GiB17.35 GB
ai/qwq:32B-Q4_K_M32BIQ2_XXS/Q4_K_M41K tokens19.72 GiB18.48 GB
ai/qwq:32B-F1632BF1641K tokens61.23 GiB61.03 GB

¹: 显存基于模型特性估算。

latest → 32B-Q4_K_M

使用方法(基于Docker Model Runner)

拉取模型

bash
docker model pull ai/qwq

运行模型

bash
docker model run ai/qwq

有关Docker Model Runner的更多信息,请https://docs.docker.com/desktop/features/model-runner/。

注意事项

  • 语言混合与代码切换:模型可能意外切换语言,影响响应清晰度。
  • 递归推理循环:可能出现循环推理模式,导致冗长、无结论的响应。建议使用Temperature=0.6、TopP=0.95、MinP=0避免此问题,并将TopK设置在20-40之间,以过滤罕见token同时保持输出多样性。
  • 性能限制:虽然在数学和编码方面表现出色,但在常识推理和细微语言理解方面可能表现不佳。

相关链接

  • https://qwenlm.github.io/blog/qwq-32b/

镜像拉取方式

您可以使用以下命令拉取该镜像。请将 <标签> 替换为具体的标签版本。如需查看所有可用标签版本,请访问 标签列表页面。

轩辕镜像加速拉取命令点我查看更多 qwq 镜像标签

docker model pull docker.xuanyuan.run/ai/qwq:<标签>

DockerHub 原生拉取命令

docker model pull ai/qwq:<标签>
专业版 · 高速稳定拉取镜像
50GB 仅 ¥8/年
高速镜像下载在线技术支持专业版保障服务可用付费会员免广告