热门搜索:
redhat/granite-3.1-8b-instruct
redhat
IBM的Granite 3.1大型语言模型(LLM)，针对本地大型语言模型运行进行了优化
8 次收藏下载次数: 0状态：社区镜像维护者：redhat仓库类型：镜像最近更新：1 年前
IBM Granite 3.1 LLM Docker镜像文档
镜像概述和主要用途
本Docker镜像预配置用于运行IBM的Granite 3.1大型语言模型(LLM)，针对本地大型语言模型操作进行了优化，支持128k token上下文长度。镜像包含所有必要的依赖项、库和运行时环境，可实现Granite 3.1模型的无缝部署与交互。
核心功能和特性
- 基础镜像：基于轻量级ubi9基础镜像构建，确保运行环境精简高效
- 模型运行时环境：集成llama.cpp作为模型服务运行时，提供稳定的模型推理能力
- 上下文长度支持：原生支持128k token的超长上下文处理
- 完整依赖集成：内置所有必要的依赖库和运行时组件，无需额外配置即可启动
使用场景和适用范围
- 本地环境下的LLM模型部署与测试
- 开发环境中快速集成Granite 3.1模型进行应用开发
- 需要本地运行大语言模型且对上下文长度有较高要求的场景
- 轻量级LLM服务部署，支持命令行交互和API访问
使用方法和配置说明
CLI模式运行
通过以下命令以命令行交互模式启动镜像：
bashdocker run --ipc=host -it redhat/granite-3.1-8b-instruct
参数说明：
--ipc=host：使用主机的IPC命名空间，优化内存共享性能-it：启用交互式终端，支持命令行交互
OpenAI兼容API服务器模式运行
通过以下命令启动OpenAI兼容的API服务器：
bashdocker run --network=host --ipc=host -it redhat/granite-3.1-8b-instruct -s
参数说明：
--network=host：使用主机网络模式，便于API端口暴露和访问--ipc=host：优化内存共享性能-s：启动模型服务模式，开启OpenAI兼容API接口-it：保持终端交互能力，便于查看服务运行日志
镜像拉取方式
您可以使用以下命令拉取该镜像。请将 <标签> 替换为具体的标签版本。如需查看所有可用标签版本，请访问 标签列表页面。
轩辕镜像加速拉取命令点我查看更多 granite-3.1-8b-instruct 镜像标签
docker pull docker.xuanyuan.run/redhat/granite-3.1-8b-instruct:<标签>
DockerHub 原生拉取命令
docker pull redhat/granite-3.1-8b-instruct:<标签>
更多 granite-3.1-8b-instruct 镜像推荐
redhat/granite-3-8b-instruct
redhat
IBM的Granite 3.0大型语言模型（LLM），优化用于本地大型语言模型操作
3 次收藏2.7千+ 次下载
1 年前更新
redhat/granite-3-1b-a400m-instruct
redhat
IBM's Granite 3.0 large language model (LLM), optimized for local large language model operations
8 次收藏1.9千+ 次下载
1 年前更新
redhat/granite-3-3b-a800m-instruct
redhat
预配置的Docker镜像，用于运行IBM的Granite 3.0大型语言模型(LLM)，针对本地大型语言模型操作进行了优化
1 次收藏1.5千+ 次下载
1 年前更新
ai/granite-4.0-nano
Docker AI 官方镜像
Granite-4.0-Nano是一款轻量级指令模型，通过监督微调、强化学习和模型合并技术在多样化数据集上训练而成，具备强指令遵循能力，适用于设备端部署和研究场景，紧凑尺寸便于专业领域微调。
9.4千+ 次下载
6 个月前更新
ai/granite-4.0-h-tiny
Docker AI 官方镜像
70亿参数长上下文指令模型，采用强化学习对齐，具备指令遵循、工具调用能力，针对企业应用优化。
3 次收藏7.4千+ 次下载
7 个月前更新
redhat/granite-7b-lab-gguf
redhat
Granite-7b-lab模型的4位量化版本Docker镜像，通过4位量化技术降低模型资源占用，实现高效部署，适用于资源受限环境下的大型语言模型应用。
5 次收藏6.4千+ 次下载
1 年前更新
轩辕镜像配置手册
探索更多轩辕镜像的使用方法，找到最适合您系统的配置方式
Docker 配置
登录仓库拉取
通过 Docker 登录认证访问私有仓库
专属域名拉取
无需登录使用专属域名
K8s Containerd
Kubernetes 集群配置 Containerd
K3s
K3s 轻量级 Kubernetes 镜像加速
Dev Containers
VS Code Dev Containers 配置
Podman
Podman 容器引擎配置
Singularity/Apptainer
HPC 科学计算容器配置
其他仓库配置
ghcr、Quay、nvcr 等镜像仓库
Harbor 镜像源配置
Harbor Proxy Repository 对接专属域名
Portainer 镜像源配置
Portainer Registries 加速拉取
Nexus 镜像源配置
Nexus3 Docker Proxy 内网缓存
系统配置
需要其他帮助？请查看我们的 常见问题Docker 镜像访问常见问题解答 或 提交工单
镜像拉取常见问题
使用与功能问题
配置了专属域名后，docker search 为什么会报错？
docker search 限制
Docker Hub 上有的镜像，为什么在轩辕镜像网站搜不到？
站内搜不到镜像
机器不能直连外网时，怎么用 docker save / load 迁镜像？
离线 save/load
docker pull 拉插件报错（plugin v1+json）怎么办？
插件要用 plugin install
WSL 里 Docker 拉镜像特别慢，怎么排查和优化？
WSL 拉取慢
轩辕镜像安全吗？如何用 digest 校验镜像没被篡改？
安全与 digest
第一次用轩辕镜像拉 Docker 镜像，要怎么登录和配置？
新手拉取配置
轩辕镜像合规吗？轩辕镜像的合规是怎么做的？
镜像合规机制
错误码与失败问题
docker pull 提示 manifest unknown 怎么办？
manifest unknown
docker pull 提示 no matching manifest 怎么办？
no matching manifest（架构）
镜像已拉取完成，却提示 invalid tar header 或 failed to register layer 怎么办？
invalid tar header（解压）
Docker pull 时 HTTPS / TLS 证书验证失败怎么办？
TLS 证书失败
Docker pull 时 DNS 解析超时或连不上仓库怎么办？
DNS 超时
docker 无法连接轩辕镜像域名怎么办？
域名连通性排查
Docker 拉取出现 410 Gone 怎么办？
410 Gone 排查
出现 402 或「流量用尽」提示怎么办？
402 与流量用尽
Docker 拉取提示 UNAUTHORIZED（401）怎么办？
401 认证失败
遇到 429 Too Many Requests（请求太频繁）怎么办？
429 限流
docker login 提示 Cannot autolaunch D-Bus，还算登录成功吗？
D-Bus 凭证提示
为什么会出现「单层超过 20GB」或 413，无法加速拉取？
413 与超大单层
账号 / 计费 / 权限
用户好评
来自真实用户的反馈，见证轩辕镜像的优质服务
oldzhang
运维工程师
Linux服务器
5
"Docker访问体验非常流畅，大镜像也能快速完成下载。"