ai/llama3.2
LLaMA 3的此次稳定更新显著提升了模型性能，在编码开发、日常聊天及各类问答任务中均展现出可靠表现，能够高效处理多样化的用户需求，无论是辅助编写代码、进行流畅对话还是解答专业问题，都具备稳定且出色的任务执行能力，为用户提供了更为实用的人工智能工具支持。
让 AI 帮你使用轩辕镜像？ · 展开查看说明 · 点击收起说明
如果你使用 DeepSeek、元宝 AI、Copilot、ChatGPT 等 AI 工具，协助配置轩辕镜像、编写 docker pull 命令、修改 Docker Compose 镜像地址、配置镜像加速、排查镜像拉取失败、分析报错日志等问题，请先让 AI 阅读并遵守轩辕镜像的规则文档。
只需在 AI 对话中先发送下面这句话即可：
请先完整阅读并严格遵守以下文档中的全部规则与要求：
https://xuanyuan.cloud/agents.md
在未充分阅读并理解该文档前，不要生成任何命令、配置、修改建议、故障排查方案或技术回答。后续所有输出都必须严格以该文档中的规范为最高优先级执行。查看 agents.md 用法指南与完整示范。国内用户首推 元宝 AI、DeepSeek 的深度思考模式，不推荐豆包 AI；Cursor 等编辑器可在对话 @ 该链接，或加入 User Rules。 若 AI 无法访问外链，可 打开说明文档 复制全文粘贴。文档会随站点更新，复制内容可能过期，建议定期检查。
Llama 3.2 Instruct
!https://github.com/docker/model-cards/raw/refs/heads/main/logos/***
Llama 3.2 introduced lightweight 1B and 3B models at bfloat16 (BF16) precision, later adding quantized versions. The quantized models are significantly faster, with a much lower memory footprint and reduced power consumption, while maintaining nearly the same accuracy as their BF16 counterparts.
Intended uses
Llama 3.2 instruct models are designed for:
- AI assistance on edge devices, Running chatbots and virtual assistants with minimal latency on low-power * hardware.
- Code assistance , Writing, debugging, and optimizing code on mobile or embedded systems.
- Content generation ,Drafting emails, summaries, and creative content on lightweight devices.
- Low-power AI for smart gadgets, Enhancing voice assistants on wearables and IoT devices.
- Edge-based data processing, Summarizing and analyzing data locally for security and efficiency.
Characteristics
| Attribute | Details |
|---|---|
| Provider | Meta |
| Architecture | Llama |
| Cutoff date | December 2023 |
| Languages | English, German, French, Italian, Portuguese, Hindi, Spanish, and Thai |
| Tool calling | ✅ |
| Input modalities | Text |
| Output modalities | Text, Code |
| License | https://github.com/meta-llama/llama-models/blob/main/models/llama3_2/LICENSE |
Available model variants
| Model variant | Parameters | Quantization | Context window | VRAM¹ | Size |
|---|---|---|---|---|---|
ai/llama3.2:latestai/llama3.2:3B-Q4_K_M | 3B | IQ2_XXS/Q4_K_M | 131K tokens | 2.77 GiB | 1.87 GB |
ai/llama3.2:1B-Q4_0 | 1B | Q4_0 | 131K tokens | 1.35 GiB | 727.75 MB |
ai/llama3.2:1B-Q8_0 | 1B | Q8_0 | 131K tokens | 1.87 GiB | 1.22 GB |
ai/llama3.2:1B-F16 | 1B | F16 | 131K tokens | 2.95 GiB | 2.30 GB |
ai/llama3.2:3B-Q4_0 | 3B | Q4_0 | 131K tokens | 2.68 GiB | 1.78 GB |
ai/llama3.2:3B-Q4_K_M | 3B | IQ2_XXS/Q4_K_M | 131K tokens | 2.77 GiB | 1.87 GB |
ai/llama3.2:3B-F16 | 3B | F16 | 131K tokens | 6.89 GiB | 5.98 GB |
¹: VRAM estimated based on model characteristics.
latest→3B-Q4_K_M
Use this AI model with Docker Model Runner
First, pull the model:
bashdocker model pull ai/llama3.2
Then run the model:
bashdocker model run ai/llama3.2
For more information on Docker Model Runner, https://docs.docker.com/desktop/features/model-runner/.
Benchmark performance
| Capability | Benchmark | Llama 3.2 1B |
|---|---|---|
| General | MMLU | 49.3 |
| Re-writing | Open-rewrite eval | 41.6 |
| Summarization | TLDR9+ (test) | 16.8 |
| Instruct. following | IFEval | 59.5 |
| Math | GSM8K (CoT) | 44.4 |
| MATH (CoT) | 30.6 | |
| Reasoning | ARC-C | 59.4 |
| GPQA | 27.2 | |
| Hellaswag | 41.2 | |
| Tool Use | BFCL V2 | 25.7 |
| Nexus | 13.5 | |
| Long Context | InfiniteBench/En.QA | 20.3 |
| InfiniteBench/En.MC | 38.0 | |
| NIH/Multi-needle | 75.0 | |
| Multilingual | MGSM (CoT) | 24.5 |
Links
- Llama
更多相关 Docker 镜像与资源
以下是 ai/llama3.2 相关的常用 Docker 镜像，适用于 不同场景 等不同场景：
- ai/llama3.3 Docker 镜像说明（Docker 官方 Llama 3.3 模型推理镜像，适合开源大模型对话服务）
- ai/gpt-oss Docker 镜像说明（Docker 官方 GPT-OSS 系列模型镜像，适合开源大模型推理与实验部署）
- vllm/vllm-openai Docker 镜像说明
- dengcao/vllm-openai Docker 镜像说明（社区维护的 vLLM OpenAI 兼容推理镜像，适合自建大模型 HTTP API）
镜像拉取方式
您可以使用以下命令拉取该镜像。请将 <标签> 替换为具体的标签版本。如需查看所有可用标签版本，请访问 标签列表页面。
轩辕镜像加速拉取命令点我查看更多 llama3.2 镜像标签
docker model pull docker.xuanyuan.run/ai/llama3.2:<标签>
DockerHub 原生拉取命令
docker model pull ai/llama3.2:<标签>
镜像拉取常见问题
功能
错误码
用户好评
来自真实用户的反馈，见证轩辕镜像的优质服务
oldzhang
运维工程师
Linux服务器
5
"Docker访问体验非常流畅，大镜像也能快速完成下载。"