ai/granite3.1-moe

Granite-3.1-3B-A800M-Instruct 镜像说明

镜像概述

本镜像封装了IBM Granite团队开发的Granite-3.1-3B-A800M-Instruct模型，这是一款基于解码器架构的3B参数长上下文指令模型，支持英语、中文等12种语言。模型采用Apache 2.0开源许可证，可用于构建多领域AI助手及业务应用。

核心功能

• 文本处理：长文档/会议摘要、文本分类与信息提取
• 问答系统：长文档QA、通用知识问答
• 生成任务：检索增强生成（RAG）、代码辅助、函数调用
• 多语言支持：覆盖12种语言的对话与内容生成
• 长上下文能力：支持128K序列长度的文本处理

使用场景

• 企业级AI助手开发
• 长文档分析与知识挖掘
• 多语言客服对话系统
• 代码编写与调试辅助
• 教育领域问答与内容生成

配置说明

Docker部署示例

交互式运行（GPU支持）

bash
docker run -it --gpus all docker.xuanyuan.run/ai/granite3.1-moe bash

（需确保Docker已配置NVIDIA GPU支持）

模型调用示例

在容器内执行以下Python代码（镜像已预装依赖）：

python
import torch
from docker.xuanyuan.run/transformers import AutoModelForCausalLM, AutoTokenizer

device = "auto"
model_path = "ibm-granite/granite-3.1-3b-a800m-Instruct"
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(model_path, device_map=device)
model.eval()

# 示例：生成IBM美国研究实验室信息
chat = [{"role": "user", "content": "请列出一个位于美国的IBM研究实验室名称及地点，仅输出结果。"}]
chat_prompt = tokenizer.apply_chat_template(chat, tokenize=False, add_generation_prompt=True)
input_tokens = tokenizer(chat_prompt, return_tensors="pt").to(device)

output = model.generate(**input_tokens, max_new_tokens=100, temperature=0.7)
print(tokenizer.batch_decode(output, skip_special_tokens=True)[0])

注意事项

• 模型在非英语任务上的性能可能略低于英语场景，建议通过少量示例优化输出
• 使用前需进行安全测试，避免生成不准确或有偏见的内容
• 如需扩展语言支持，可基于该模型进行微调