本站支持搜索的镜像仓库:Docker Hub、gcr.io、ghcr.io、quay.io、k8s.gcr.io、registry.gcr.io、elastic.co、mcr.microsoft.com

Llama 3.2推出了轻量级的1B和3B模型,初始版本采用bfloat16(BF16)精度,后续新增了量化版本。量化模型在保持与BF16版本精度接近的同时,运行速度显著提升,内存占用和功耗大幅降低,适合资源受限场景。
Llama 3.2 Instruct模型主要面向以下场景设计:
| 属性 | 详情 |
|---|---|
| 提供商 | Meta |
| 架构 | Llama |
| 数据截止日期 | 2023年12月 |
| 支持语言 | 英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语、泰语 |
| 工具调用 | ✅ |
| 输入模态 | 文本 |
| 输出模态 | 文本、代码 |
| 许可证 | Llama 3.2社区许可证 |
| 模型变体 | 参数规模 | 量化方式 | 上下文窗口 | 显存¹ | 大小 |
|---|---|---|---|---|---|
ai/llama3.2:latestai/llama3.2:3B-Q4_K_M | 3B | IQ2_XXS/Q4_K_M | 131K tokens | 2.77 GiB | 1.87 GB |
ai/llama3.2:1B-Q4_0 | 1B | Q4_0 | 131K tokens | 1.35 GiB | 727.75 MB |
ai/llama3.2:1B-Q8_0 | 1B | Q8_0 | 131K tokens | 1.87 GiB | 1.22 GB |
ai/llama3.2:1B-F16 | 1B | F16 | 131K tokens | 2.95 GiB | 2.30 GB |
ai/llama3.2:3B-Q4_0 | 3B | Q4_0 | 131K tokens | 2.68 GiB | 1.78 GB |
ai/llama3.2:3B-Q4_K_M | 3B | IQ2_XXS/Q4_K_M | 131K tokens | 2.77 GiB | 1.87 GB |
ai/llama3.2:3B-F16 | 3B | F16 | 131K tokens | 6.89 GiB | 5.98 GB |
¹:显存基于模型特性估算。
latest标签默认对应3B-Q4_K_M版本
docker model pull ai/llama3.2
docker model run ai/llama3.2
更多关于Docker Model Runner的信息,可查看官方文档。
以下是Llama 3.2 1B模型在各类能力上的基准测试结果:
| 能力项 | 基准测试 | Llama 3.2 1B |
|---|---|---|
| 通用能力 | MMLU | 49.3 |
| 改写能力 | Open-rewrite eval | 41.6 |
| 摘要能力 | TLDR9+ (test) | 16.8 |
| 指令遵循能力 | IFEval | 59.5 |
| 数学能力 | GSM8K (CoT) | 44.4 |
| MATH (CoT) | 30.6 | |
| 推理能力 | ARC-C | 59.4 |
| GPQA | 27.2 | |
| Hellaswag | 41.2 | |
| 工具使用能力 | BFCL V2 | 25.7 |
| Nexus | 13.5 | |
| 长上下文能力 | InfiniteBench/En.QA | 20.3 |
| InfiniteBench/En.MC | 38.0 | |
| NIH/Multi-needle | 75.0 | |
| 多语言能力 | MGSM (CoT) | 24.5 |
免费版仅支持 Docker Hub 加速,不承诺可用性和速度;专业版支持更多镜像源,保证可用性和稳定速度,提供优先客服响应。
免费版仅支持 docker.io;专业版支持 docker.io、gcr.io、ghcr.io、registry.k8s.io、nvcr.io、quay.io、mcr.microsoft.com、docker.elastic.co 等。
当返回 402 Payment Required 错误时,表示流量已耗尽,需要充值流量包以恢复服务。
通常由 Docker 版本过低导致,需要升级到 20.x 或更高版本以支持 V2 协议。
先检查 Docker 版本,版本过低则升级;版本正常则验证镜像信息是否正确。
使用 docker tag 命令为镜像打上新标签,去掉域名前缀,使镜像名称更简洁。
探索更多轩辕镜像的使用方法,找到最适合您系统的配置方式
通过 Docker 登录方式配置轩辕镜像加速服务,包含7个详细步骤
在 Linux 系统上配置轩辕镜像源,支持主流发行版
在 Docker Desktop 中配置轩辕镜像加速,适用于桌面系统
在 Docker Compose 中使用轩辕镜像加速,支持容器编排
在 k8s 中配置 containerd 使用轩辕镜像加速
在宝塔面板中配置轩辕镜像加速,提升服务器管理效率
在 Synology 群晖NAS系统中配置轩辕镜像加速
在飞牛fnOS系统中配置轩辕镜像加速
在极空间NAS中配置轩辕镜像加速
在爱快ikuai系统中配置轩辕镜像加速
在绿联NAS系统中配置轩辕镜像加速
在威联通NAS系统中配置轩辕镜像加速
在 Podman 中配置轩辕镜像加速,支持多系统
配置轩辕镜像加速9大主流镜像仓库,包含详细配置步骤
无需登录即可使用轩辕镜像加速服务,更加便捷高效
需要其他帮助?请查看我们的 常见问题 或 官方QQ群: 13763429