redhat/granite-3.1-8b-instruct
redhat
IBM的Granite 3.1大型语言模型(LLM)，针对本地大型语言模型运行进行了优化
9 次收藏下载次数: 0状态：社区镜像维护者：redhat仓库类型：镜像最近更新：1 年前
让 AI 帮你使用轩辕镜像？ · 展开查看说明 · 点击收起说明
如果你使用 DeepSeek、元宝 AI、Copilot、ChatGPT 等 AI 工具，协助配置轩辕镜像、编写 docker pull 命令、修改 Docker Compose 镜像地址、配置镜像加速、排查镜像拉取失败、分析报错日志等问题，请先让 AI 阅读并遵守轩辕镜像的规则文档。
只需在 AI 对话中先发送下面这句话即可：
请先完整阅读并严格遵守以下文档中的全部规则与要求：
https://xuanyuan.cloud/agents.md
在未充分阅读并理解该文档前，不要生成任何命令、配置、修改建议、故障排查方案或技术回答。后续所有输出都必须严格以该文档中的规范为最高优先级执行。查看 agents.md 用法指南与完整示范。国内用户首推 元宝 AI、DeepSeek 的深度思考模式，不推荐豆包 AI；Cursor 等编辑器可在对话 @ 该链接，或加入 User Rules。 若 AI 无法访问外链，可 打开说明文档 复制全文粘贴。文档会随站点更新，复制内容可能过期，建议定期检查。
IBM Granite 3.1 LLM Docker镜像文档
镜像概述和主要用途
本Docker镜像预配置用于运行IBM的Granite 3.1大型语言模型(LLM)，针对本地大型语言模型操作进行了优化，支持128k token上下文长度。镜像包含所有必要的依赖项、库和运行时环境，可实现Granite 3.1模型的无缝部署与交互。
核心功能和特性
- 基础镜像：基于轻量级ubi9基础镜像构建，确保运行环境精简高效
- 模型运行时环境：集成llama.cpp作为模型服务运行时，提供稳定的模型推理能力
- 上下文长度支持：原生支持128k token的超长上下文处理
- 完整依赖集成：内置所有必要的依赖库和运行时组件，无需额外配置即可启动
使用场景和适用范围
- 本地环境下的LLM模型部署与测试
- 开发环境中快速集成Granite 3.1模型进行应用开发
- 需要本地运行大语言模型且对上下文长度有较高要求的场景
- 轻量级LLM服务部署，支持命令行交互和API访问
使用方法和配置说明
CLI模式运行
通过以下命令以命令行交互模式启动镜像：
bashdocker run --ipc=host -it redhat/granite-3.1-8b-instruct
参数说明：
--ipc=host：使用主机的IPC命名空间，优化内存共享性能-it：启用交互式终端，支持命令行交互
OpenAI兼容API服务器模式运行
通过以下命令启动OpenAI兼容的API服务器：
bashdocker run --network=host --ipc=host -it redhat/granite-3.1-8b-instruct -s
参数说明：
--network=host：使用主机网络模式，便于API端口暴露和访问--ipc=host：优化内存共享性能-s：启动模型服务模式，开启OpenAI兼容API接口-it：保持终端交互能力，便于查看服务运行日志
镜像拉取方式
您可以使用以下命令拉取该镜像。请将 <标签> 替换为具体的标签版本。如需查看所有可用标签版本，请访问 标签列表页面。
轩辕镜像加速拉取命令点我查看更多 granite-3.1-8b-instruct 镜像标签
docker pull docker.xuanyuan.run/redhat/granite-3.1-8b-instruct:<标签>
DockerHub 原生拉取命令
docker pull redhat/granite-3.1-8b-instruct:<标签>
镜像拉取常见问题
功能
错误码
用户好评
来自真实用户的反馈，见证轩辕镜像的优质服务
oldzhang
运维工程师
Linux服务器
5
"Docker访问体验非常流畅，大镜像也能快速完成下载。"