redhat/granite-3-8b-instruct

IBM Granite 3.0 LLM Docker镜像

概述

该Docker镜像为预配置环境，用于运行IBM Granite 3.0大型语言模型（LLM），专门优化本地大型语言模型操作。镜像集成所有必要的依赖项、库和运行时环境，支持与Granite 3.0模型的无缝部署及交互。

核心功能与特性

关键组件

• 基础镜像：基于轻量级ubi9镜像构建，确保环境精简高效
• 模型运行时环境：集成llama.cpp作为模型服务运行时，提供可靠的本地推理能力

使用场景

• 本地部署Granite 3.0 LLM进行开发与测试
• 构建轻量级本地AI应用，需直接CLI交互
• 开发需OpenAI兼容API接口的本地AI服务

使用方法

1. CLI模式运行

通过命令行直接与模型交互：

bash
docker run --ipc=host -it redhat/granite-3-8b-instruct

2. OpenAI兼容API服务器模式运行

启动API服务，提供OpenAI兼容接口：

bash
docker run --network host --ipc=host -it redhat/granite-3-8b-instruct -s