ai/granite-4.0-h-micro Docker 镜像 - 轩辕镜像 | Docker 镜像高效稳定拉取服务
ai/granite-4.0-h-micro3B参数长上下文指令模型，通过强化学习对齐，具备指令跟随和工具调用能力，适用于企业级应用。
Granite-4.0-h-Micro
!logo
镜像概述
Granite-4.0-H-Micro是一个3B参数的长上下文指令模型，基于Granite-4.0-H-Micro-Base微调而成。它使用具有宽松许可证的开源指令数据集与内部收集的合成数据集组合进行训练，采用结构化聊天格式及多种技术，包括监督微调、强化学习模型对齐和模型合并。该模型在指令跟随（IF）和工具调用能力方面进行了优化，更适用于企业级应用场景。
核心特性
| 属性 | 详情 |
|---|---|
| 提供者 | Granite团队，IBM |
| 架构 | granitehybrid |
| 数据截止日期 | 未公开 |
| 支持语言 | 英语、德语、西班牙语、法语、日语、葡萄牙语、阿拉伯语、捷克语、意大利语、韩语、荷兰语、中文（可通过微调扩展） |
| 工具调用 | ✅ |
| 输入模态 | 文本 |
| 输出模态 | 文本 |
| 许可证 | Apache 2.0 |
可用模型变体
| 模型变体 | 参数 | 量化方式 | 上下文窗口 | 显存¹ | 大小 |
|---|---|---|---|---|---|
ai/granite-4.0-h-micro:3Bai/granite-4.0-h-micro:3B-Q4_K_Mai/granite-4.0-h-micro:latest | 3.2B | MOSTLY_Q4_K_M | 1M tokens | 2.32 GiB | 1.81 GB |
¹: 显存基于模型特性估算。
latest→3B
使用场景与适用范围
- 优化场景：指令跟随、工具/函数调用、长上下文（最高128K tokens）任务
- 通用能力：文本总结、分类、信息提取、问答/RAG、代码生成、函数调用及多语言对话
- 多语言支持：英语表现最佳，对于其他语言可通过少样本提示或轻量级微调提升性能
- 企业适用性：适用于需要可靠指令理解和工具集成的企业级AI应用
使用方法
通过Docker Model Runner运行
bashdocker model run ai/granite-4.0-h-micro
注意事项
- 安全与可靠性：尽管经过对齐处理，模型仍可能生成不准确或有偏见的输出，建议进行特定领域的评估并部署安全防护措施
- 基础设施要求：模型在CoreWeave的NVIDIA GB200 NVL72上训练，推理时建议使用加速库（如accelerate）及优化的注意力/KV缓存设置以提高效率
基准性能
| 类别 | 指标 | Granite-4.0-h-Micro |
|---|---|---|
| 通用任务 | ||
| MMLU（5-shot） | 67.43 | |
| MMLU-Pro（5-shot, CoT） | 43.48 | |
| BBH（3-shot, CoT） | 69.36 | |
| AGI EVAL（0-shot, CoT） | 59.00 | |
| GPQA（0-shot, CoT） | 32.15 | |
| 对齐任务 | ||
| AlpacaEval 2.0 | 31.49 | |
| IFEval（指令，严格） | 86.94 | |
| IFEval（提示，严格） | 81.71 | |
| IFEval（平均） | 84.32 | |
| ArenaHard | 36.15 | |
| 数学任务 | ||
| GSM8K（8-shot） | 81.35 | |
| GSM8K Symbolic（8-shot） | 77.50 | |
| Minerva Math（0-shot, CoT） | 66.44 | |
| DeepMind Math（0-shot, CoT） | 43.83 | |
| 代码任务 | ||
| HumanEval（pass@1） | 81.00 | |
| HumanEval+（pass@1） | 75.00 | |
| MBPP（pass@1） | 73.00 | |
| MBPP+（pass@1） | 64.00 | |
| CRUXEval-O（pass@1） | 41.25 | |
| BigCodeBench（pass@1） | 37.90 | |
| 工具调用任务 | ||
| BFCL v3 | 57.56 | |
| 多语言任务 | ||
| MULTIPLE（pass@1） | 49.46 | |
| MMMLU（5-shot） | 55.19 | |
| INCLUDE（5-shot） | 50.51 | |
| MGSM（8-shot） | 44.48 | |
| 安全性 | ||
| SALAD-Bench | 96.28 | |
| AttaQ | 84.44 |
相关链接
- [***]
- [***]
- [***]
microcks/microcks
microcks
Microcks主要组件的容器镜像，提供UI和API。
4 次收藏50万+ 次下载
14 天前更新
ai/granite-4.0-micro
Docker AI 官方镜像
3B参数长上下文指令模型，通过强化学习对齐，具备指令遵循和工具调用能力，针对企业应用优化。
3.1千+ 次下载
5 个月前更新
microcks/microcks-postman-runtime
microcks
Microcks用于运行测试的Postman包装器容器镜像，支持执行Postman Collections中的测试用例。
1 次收藏10万+ 次下载
15 天前更新
microcks/microcks-uber
microcks
Microcks主组件的一体化镜像，集成UI和API服务，提供完整功能，支持快速部署和使用。
2 次收藏5万+ 次下载
14 天前更新
ai/granite-4.0-nano
Docker AI 官方镜像
Granite-4.0-Nano是一款轻量级指令模型，通过监督微调、强化学习和模型合并技术在多样化数据集上训练而成，具备强指令遵循能力，适用于设备端部署和研究场景，紧凑尺寸便于专业领域微调。
8.7千+ 次下载
4 个月前更新
ai/granite-4.0-h-tiny
Docker AI 官方镜像
70亿参数长上下文指令模型，采用强化学习对齐，具备指令遵循、工具调用能力，针对企业应用优化。
3 次收藏6.8千+ 次下载
5 个月前更新
镜像拉取常见问题
使用与功能问题
错误码与失败问题
manifest unknown 错误：镜像不存在或标签错误
manifest unknown 错误
TLS/SSL 证书验证失败：Docker pull 时 HTTPS 证书错误
TLS 证书验证失败
DNS 解析超时：无法解析镜像仓库地址或连接超时
DNS 解析超时
410 Gone 错误：Docker 版本过低导致协议不兼容
410 错误：版本过低
402 Payment Required 错误：流量耗尽错误提示
402 错误：流量耗尽
401 UNAUTHORIZED 错误：身份认证失败或登录信息错误
身份认证失败错误
429 Too Many Requests 错误：请求频率超出专业版限制
429 限流错误
Docker login 凭证保存错误：Cannot autolaunch D-Bus（不影响登录）
凭证保存错误
账号 / 计费 / 权限
用户好评
来自真实用户的反馈，见证轩辕镜像的优质服务
oldzhang
运维工程师
Linux服务器
5
"Docker访问体验非常流畅，大镜像也能快速完成下载。"