gitlab/model-gateway

GitLab-LLM网关镜像文档

镜像概述

本镜像提供GitLab实例与大型语言模型(LLMs)之间的接口服务，作为AI网关实现两者的通信与集成。通过标准化的接口转换和数据处理，简化GitLab平台与各类LLM服务的对接流程，支持GitLab集成AI能力。

核心功能与特性

• 协议转换：实现GitLab API与LLM服务API之间的协议适配与转换
• 通信中介：处理GitLab与LLM之间的请求转发、响应解析和数据格式转换
• 安全认证：支持GitLab令牌认证和LLM服务API密钥管理
• 请求处理：提供请求验证、错误处理和日志记录功能
• 可扩展性：支持多种LLM提供商（如OpenAI、Anthropic、Google Gemini等）

使用场景与适用范围

• GitLab集成AI代码审查功能，自动分析代码质量和潜在问题
• 基于GitLab仓库内容生成自动文档或注释
• 实现GitLab Issues的AI辅助回答与解决方案推荐
• 自动化GitLab Merge Request描述生成与优化
• GitLab CI/CD流程中的AI辅助构建与测试优化

使用方法与配置说明

环境变量配置

Docker部署示例

基本运行命令

bash
docker run -d \
  --name gitlab-llm-gateway \
  -e GITLAB_URL="https://gitlab.example.com" \
  -e GITLAB_TOKEN="glpat-xxxxxxxxxxxxxxxxxxxx" \
  -e LLM_PROVIDER="openai" \
  -e LLM_API_KEY="sk-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx" \
  -e LLM_MODEL="gpt-4o" \
  -p 8080:8080 \
  gitlab-llm-gateway:latest

Docker Compose配置

yaml
version: '3.8'
services:
  gitlab-llm-gateway:
    image: gitlab-llm-gateway:latest
    container_name: gitlab-llm-gateway
    environment:
      - GITLAB_URL=https://gitlab.example.com
      - GITLAB_TOKEN=glpat-xxxxxxxxxxxxxxxxxxxx
      - LLM_PROVIDER=anthropic
      - LLM_API_KEY=sk-ant-api03-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx-xxxxxxxxxxxx
      - LLM_MODEL=claude-3-opus-20240229
      - PORT=8080
      - LOG_LEVEL=info
    ports:
      - "8080:8080"
    restart: unless-stopped

验证服务可用性

服务启动后，可通过访问http://localhost:8080/health端点验证运行状态：

bash
curl http://localhost:8080/health
# 预期响应: {"status":"healthy","timestamp":"2024-05-20T12:34:56Z"}

注意事项

• 确保GitLab令牌具备足够的API权限（如api、read_repository等）
• 不同LLM提供商可能需要额外配置参数（如ANTHROPIC_API_VERSION等），请参考对应提供商文档
• 生产环境建议使用HTTPS并配置反向代理（如Nginx）增强安全性
• 高并发场景下建议配置请求限流和资源监控