redhat/granite-3.1-8b-instruct Docker 镜像 - 轩辕镜像 | Docker 镜像高效稳定拉取服务

IBM Granite 3.1 LLM Docker镜像文档

镜像概述和主要用途

本Docker镜像预配置用于运行IBM的Granite 3.1大型语言模型(LLM)，针对本地大型语言模型操作进行了优化，支持128k token上下文长度。镜像包含所有必要的依赖项、库和运行时环境，可实现Granite 3.1模型的无缝部署与交互。

核心功能和特性

• 基础镜像：基于轻量级ubi9基础镜像构建，确保运行环境精简高效
• 模型运行时环境：集成llama.cpp作为模型服务运行时，提供稳定的模型推理能力
• 上下文长度支持：原生支持128k token的超长上下文处理
• 完整依赖集成：内置所有必要的依赖库和运行时组件，无需额外配置即可启动

使用场景和适用范围

• 本地环境下的LLM模型部署与测试
• 开发环境中快速集成Granite 3.1模型进行应用开发
• 需要本地运行大语言模型且对上下文长度有较高要求的场景
• 轻量级LLM服务部署，支持命令行交互和API访问

使用方法和配置说明

CLI模式运行

通过以下命令以命令行交互模式启动镜像：

bash
docker run --ipc=host -it redhat/granite-3.1-8b-instruct

参数说明：

• --ipc=host：使用主机的IPC命名空间，优化内存共享性能
• -it：启用交互式终端，支持命令行交互

OpenAI兼容API服务器模式运行

通过以下命令启动OpenAI兼容的API服务器：

bash
docker run --network=host --ipc=host -it redhat/granite-3.1-8b-instruct -s

参数说明：

• --network=host：使用主机网络模式，便于API端口暴露和访问
• --ipc=host：优化内存共享性能
• -s：启动模型服务模式，开启OpenAI兼容API接口
• -it：保持终端交互能力，便于查看服务运行日志