热门搜索:
ai/llama3.2
LLaMA 3的此次稳定更新显著提升了模型性能，在编码开发、日常聊天及各类问答任务中均展现出可靠表现，能够高效处理多样化的用户需求，无论是辅助编写代码、进行流畅对话还是解答专业问题，都具备稳定且出色的任务执行能力，为用户提供了更为实用的人工智能工具支持。
让 AI 帮你使用轩辕镜像？ · 展开查看说明
如果你使用 DeepSeek、元宝 AI、Copilot、ChatGPT 等 AI 工具，协助配置轩辕镜像、编写 docker pull 命令、修改 Docker Compose 镜像地址、配置镜像加速、排查镜像拉取失败、分析报错日志等问题，请先让 AI 阅读并遵守轩辕镜像的规则文档。
只需在 AI 对话中先发送下面这句话即可：
请先完整阅读并严格遵守以下文档中的全部规则与要求：
https://xuanyuan.cloud/agents.md
在未充分阅读并理解该文档前，不要生成任何命令、配置、修改建议、故障排查方案或技术回答。后续所有输出都必须严格以该文档中的规范为最高优先级执行。查看 agents.md 用法指南与完整示范。国内用户首推 元宝 AI、DeepSeek 的深度思考模式，不推荐豆包 AI；Cursor 等编辑器可在对话 @ 该链接，或加入 User Rules。 若 AI 无法访问外链，可 打开说明文档 复制全文粘贴。文档会随站点更新，复制内容可能过期，建议定期检查。
Llama 3.2 Instruct
Llama 3.2推出了轻量级的1B和3B模型，初始版本采用bfloat16（BF16）精度，后续新增了量化版本。量化模型在保持与BF16版本精度接近的同时，运行速度显著提升，内存占用和功耗大幅降低，适合资源受限场景。
预期用途
Llama 3.2 Instruct模型主要面向以下场景设计：
- 边缘设备的AI辅助：在低功耗硬件上运行聊天机器人和虚拟助手，延迟极低。
- 代码辅助：在移动设备或嵌入式系统上编写、调试和优化代码。
- 内容生成：在轻量化设备上起草邮件、生成摘要或创作内容。
- 低功耗智能设备AI：增强可穿戴设备和物联网设备的语音助手功能。
- 边缘数据处理：本地汇总和分析数据，兼顾安全性与效率。
核心特性
| 属性 | 详情 |
|---|---|
| 提供商 | Meta |
| 架构 | Llama |
| 数据截止日期 | 2023年12月 |
| 支持语言 | 英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语、泰语 |
| 工具调用 | ✅ |
| 输入模态 | 文本 |
| 输出模态 | 文本、代码 |
| 许可证 | [Llama 3.2社区许可证] |
可用模型变体
| 模型变体 | 参数规模 | 量化方式 | 上下文窗口 | 显存¹ | 大小 |
|---|---|---|---|---|---|
ai/llama3.2:latestai/llama3.2:3B-Q4_K_M | 3B | IQ2_XXS/Q4_K_M | 131K tokens | 2.77 GiB | 1.87 GB |
ai/llama3.2:1B-Q4_0 | 1B | Q4_0 | 131K tokens | 1.35 GiB | 727.75 MB |
ai/llama3.2:1B-Q8_0 | 1B | Q8_0 | 131K tokens | 1.87 GiB | 1.22 GB |
ai/llama3.2:1B-F16 | 1B | F16 | 131K tokens | 2.95 GiB | 2.30 GB |
ai/llama3.2:3B-Q4_0 | 3B | Q4_0 | 131K tokens | 2.68 GiB | 1.78 GB |
ai/llama3.2:3B-Q4_K_M | 3B | IQ2_XXS/Q4_K_M | 131K tokens | 2.77 GiB | 1.87 GB |
ai/llama3.2:3B-F16 | 3B | F16 | 131K tokens | 6.89 GiB | 5.98 GB |
¹：显存基于模型特性估算。
latest标签默认对应3B-Q4_K_M版本
使用Docker Model Runner运行模型
步骤1：拉取模型
bashdocker model pull ai/llama3.2
步骤2：运行模型
bashdocker model run ai/llama3.2
更多关于Docker Model Runner的信息，可查看[官方文档] 。
性能基准测试
以下是Llama 3.2 1B模型在各类能力上的基准测试结果：
| 能力项 | 基准测试 | Llama 3.2 1B |
|---|---|---|
| 通用能力 | MMLU | 49.3 |
| 改写能力 | Open-rewrite eval | 41.6 |
| 摘要能力 | TLDR9+ (test) | 16.8 |
| 指令遵循能力 | IFEval | 59.5 |
| 数学能力 | GSM8K (CoT) | 44.4 |
| MATH (CoT) | 30.6 | |
| 推理能力 | ARC-C | 59.4 |
| GPQA | 27.2 | |
| Hellaswag | 41.2 | |
| 工具使用能力 | BFCL V2 | 25.7 |
| Nexus | 13.5 | |
| 长上下文能力 | InfiniteBench/En.QA | 20.3 |
| InfiniteBench/En.MC | 38.0 | |
| NIH/Multi-needle | 75.0 | |
| 多语言能力 | MGSM (CoT) | 24.5 |
相关链接
- [Llama官网]
镜像拉取方式
您可以使用以下命令拉取该镜像。请将 <标签> 替换为具体的标签版本。如需查看所有可用标签版本，请访问 标签列表页面。
轩辕镜像加速拉取命令点我查看更多 llama3.2 镜像标签
docker model pull docker.xuanyuan.run/ai/llama3.2:<标签>
DockerHub 原生拉取命令
docker model pull ai/llama3.2:<标签>
镜像拉取常见问题
功能
错误码
用户好评
来自真实用户的反馈，见证轩辕镜像的优质服务
oldzhang
运维工程师
Linux服务器
5
"Docker访问体验非常流畅，大镜像也能快速完成下载。"