laiyer/llm-guard-api Docker 镜像 - 轩辕镜像

LLM Guard API

一个基于fastapi的轻量API，用于执行LLM Guard安全检查。
了解更多

什么是LLM Guard？

LLM-Guard 是一款全方位工具，旨在增强大型语言模型（LLMs）的安全性。

文档 | LLM Guard 在线演示

安装

我们在 Docker Hub 提供官方支持的镜像。

拉取Docker镜像

sh
docker pull laiyer/llm-guard-api

使用默认端口运行容器

sh
docker run -d -p 8001:8000 -e DEBUG='false' laiyer/llm-guard-api:latest

说明：后台运行容器，将容器的8000端口映射到本地的8001端口，并关闭调试模式。

配置

环境变量

• DEBUG (bool): 启用调试模式
• CACHE_MAX_SIZE (int): 缓存最大条目数，默认无限制
• CACHE_TTL (int): 缓存条目过期时间（秒），默认1小时
• SCAN_FAIL_FAST (bool): 首个检查失败后停止扫描，默认值为 False

建议启用 SCAN_FAIL_FAST 以避免不必要的扫描。

扫描器配置

可在 scanners.yml 文件中配置扫描器，需指定扫描器名称及参数。扫描器将按配置顺序执行。