redhat/granite-3-3b-a800m-instruct Docker 镜像 - 轩辕镜像 | Docker 镜像高效稳定拉取服务

镜像概述

本Docker镜像为运行IBM的Granite 3.0大型语言模型(LLM)提供预配置环境，针对本地大型语言模型操作进行了优化。镜像包含运行Granite 3.0所需的所有依赖项、库和运行时环境，支持无缝部署和交互。

核心功能与特性

关键组件

• 基础镜像：基于轻量级基础镜像ubi9构建，确保运行环境精简高效
• 模型运行时环境：集成llama.cpp作为模型服务运行时，提供高效的本地模型部署能力

使用场景与适用范围

• 本地大型语言模型部署与测试
• 开发环境中快速集成Granite 3.0模型
• 需要本地运行LLM且资源受限的场景
• 构建OpenAI兼容的本地API服务

使用方法与配置说明

1. CLI模式运行

通过命令行交互模式运行模型，适用于直接与模型进行对话交互：

bash
docker run --ipc=host -it redhat/granite-3-3b-a800m-instruct

2. OpenAI兼容API服务器模式运行

以服务器模式启动，提供OpenAI兼容的API服务，适用于集成到应用系统中：

bash
docker run --network host --ipc=host -it redhat/granite-3-3b-a800m-instruct -s

参数说明：

• --ipc=host：使用主机的IPC命名空间，优化内存共享性能
• --network host：使用主机网络模式，便于API服务端口暴露
• -s：启动服务器模式，提供OpenAI兼容API接口