ai/granite4.1-guardian

Granite Guardian 4.1 8B（GGUF格式）

镜像概述

本镜像包含从IBM Granite基础模型转换而来的GGUF格式模型（含多种量化版本），基于https://huggingface.co/ibm-granite/granite-4.1-8b微调，专注于LLM系统的输入输出安全评判。

核心功能

1. 内置安全标准检测：覆盖越狱尝试、亵渎内容、工具调用/检索增强生成中的幻觉等场景；
2. 自定义评判标准：支持用户导入自定义规则，适配特定业务场景；
3. 双模式运行：
   • 思考模式：输出详细推理过程（通过<think>标签）和评分（<score>标签）；
   • 非思考模式：仅输出评分结果；
4. 性能优势：基于人类标注和内部红队数据训练，在同类开源模型中表现更优。

使用场景

• LLM应用的内容安全审核（如对话机器人输出验证）；
• 智能代理系统的工具调用合规性检查；
• 需要自定义安全规则的企业级AI场景。

配置说明

• 选择量化版本：镜像包含多种量化版本（如q4_0、q8_0等），可根据资源限制选择；
• 模式切换：通过参数--mode设置（thinking或non-thinking）；
• 自定义规则：将规则文件挂载到镜像指定目录（如/app/custom_rules）。

部署示例

Docker Run命令

bash
docker run -it --rm \
  -v ./custom_rules:/app/custom_rules \
  docker.xuanyuan.run/ai/granite4.1-guardian \
  --model-path /models/granite-guardian-4.1-8b-q4_0.gguf \
  --mode thinking \
  --input "请判断该内容是否合规"

Docker Compose示例

yaml
version: "3"
services:
  granite-guardian:
    image: docker.xuanyuan.run/ai/granite4.1-guardian
    volumes:
      - ./custom_rules:/app/custom_rules
    command: ["--model-path", "/models/granite-guardian-4.1-8b-q8_0.gguf", "--mode", "non-thinking"]

注：具体模型路径和参数需根据镜像内实际文件结构调整。 ===END===