GPT-Load

English | 中文 | 日本語

一款高性能、企业级的AI API透明代理服务，专为需要集成多个AI服务的企业和开发人员设计。基于Go构建，具备智能密钥管理、负载均衡和全面监控能力，适用于高并发生产环境。

详细文档请访问官方文档

功能特性

• 透明代理：完全保留原生API格式，支持OpenAI、Google Gemini、Anthropic Claude等格式
• 智能密钥管理：高性能密钥池，支持分组管理、自动轮换和故障恢复
• 负载均衡：多上游端点加权负载均衡，提升服务可用性
• 智能故障处理：自动密钥黑名单管理与恢复机制，确保服务连续性
• 动态配置：系统设置和分组配置支持热重载，无需重启
• 企业级架构：分布式主从部署，支持水平扩展和高可用
• 现代管理方式：基于Vue 3的Web管理界面，直观易用
• 全面监控：实时统计、健康检查和详细请求日志
• 高性能设计：零拷贝流处理、连接池复用和原子操作
• 生产就绪：优雅关闭、错误恢复和全面安全机制
• 双重认证：管理端与代理端分离认证，代理认证支持全局和分组级密钥

支持的AI服务

GPT-Load作为透明代理服务，完全保留各AI服务提供商的原生API格式：

• OpenAI格式：官方OpenAI API、Azure OpenAI及其他OpenAI兼容服务
• Google Gemini格式：Gemini Pro、Gemini Pro Vision等模型的原生API
• Anthropic Claude格式：Claude系列模型，支持高质量对话和文本生成

快速开始

系统要求

• Go 1.24+（源码构建时需要）
• Docker（容器化部署时需要）
• MySQL、PostgreSQL或SQLite（数据库存储）
• Redis（缓存和分布式协调，可选）

方法1：Docker快速启动

docker run -d --name gpt-load \
-p 3001:3001 \
-e AUTH_KEY=your-secure-key-here \
-v "$(pwd)/data":/app/data \
ghcr.io/tbphp/gpt-load:latest

[!NOTE] 请将your-secure-key-here替换为强密码（切勿使用默认值），然后即可登录管理界面：

方法2：使用Docker Compose（推荐）

安装命令：

# 创建目录
mkdir -p gpt-load && cd gpt-load

# 下载配置文件
wget https://raw.githubusercontent.com/tbphp/gpt-load/refs/heads/main/docker-compose.yml
wget -O .env https://raw.githubusercontent.com/tbphp/gpt-load/refs/heads/main/.env.example

# 编辑.env文件，将AUTH_KEY修改为强密码。切勿使用默认值或sk-123456等简单密钥。

# 启动服务
docker compose up -d

部署前必须修改默认管理员密钥（AUTH_KEY）。推荐格式：sk-prod-[32位随机字符串]。

默认安装使用SQLite版本，适用于轻量级单实例应用。

如需安装MySQL、PostgreSQL和Redis，请在docker-compose.yml文件中取消所需服务的注释，配置相应环境变量并重启。

其他命令：

# 检查服务状态
docker compose ps

# 查看日志
docker compose logs -f

# 重启服务
docker compose down && docker compose up -d

# 更新到最新版本
docker compose pull && docker compose down && docker compose up -d

部署后：

• 访问Web管理界面：
• API代理地址：

[!NOTE] 使用修改后的AUTH_KEY登录管理界面。

方法3：源码构建

源码构建需要本地安装数据库（SQLite、MySQL或PostgreSQL）和Redis（可选）。

# 克隆并构建
git clone https://github.com/tbphp/gpt-load.git
cd gpt-load
go mod tidy

# 创建配置
cp .env.example .env

# 编辑.env文件，将AUTH_KEY修改为强密码。切勿使用默认值或sk-123456等简单密钥。
# 修改.env中的DATABASE_DSN和REDIS_DSN配置
# REDIS_DSN为可选配置，若不配置则启用内存存储

# 运行
make run

部署后：

• 访问Web管理界面：
• API代理地址：

[!NOTE] 使用修改后的AUTH_KEY登录管理界面。

方法4：集群部署

集群部署要求所有节点连接到同一个MySQL（或PostgreSQL）和Redis，且Redis为必填项。建议使用统一的分布式MySQL和Redis集群。

部署要求：

• 所有节点必须配置相同的AUTH_KEY、DATABASE_DSN、REDIS_DSN
• 主从架构中，从节点必须配置环境变量：IS_SLAVE=true

详细信息请参考集群部署文档

配置系统

配置架构概述

GPT-Load采用双层配置架构：

1. 静态配置（环境变量）

• 特点：应用启动时读取，运行时不可修改，需重启应用生效
• 用途：数据库连接、服务器端口、认证密钥等基础设施配置
• 管理方式：通过.env文件或系统环境变量设置

2. 动态配置（热重载）

• 系统设置：存储在数据库中，为整个应用提供统一行为标准
• 分组配置：为特定分组定制的行为参数，可覆盖系统设置
• 配置优先级：分组配置

系统设置 环境配置

• 特点：支持热重载，修改后立即生效，无需重启应用

静态配置（环境变量）

服务器配置：

安全配置：

数据库配置：

性能与跨域配置：

日志配置：

代理配置：

GPT-Load会自动从环境变量读取代理设置，以向上游AI服务提供商发起请求。

支持的代理协议格式：

• HTTP：http://user:pass@host:port
• HTTPS：https://user:pass@host:port
• SOCKS5：socks5://user:pass@host:port

动态配置（热重载）

基本设置：

请求设置：

密钥配置：

数据加密迁移

GPT-Load支持API密钥的加密存储。您可以随时启用、禁用或更改加密密钥。

查看数据加密迁移详情

迁移场景

Important Notes

[!IMPORTANT] 重要提醒：

• 一旦ENCRYPTION_KEY丢失，加密数据将无法恢复！ 请安全备份此密钥。建议使用密码管理器或安全密钥管理系统。
• 迁移前必须停止服务，以避免数据不一致。
• 强烈建议备份数据库，以防迁移失败需要恢复。
• 为确保安全，密钥应使用32个字符或更长的随机字符串。
• 迁移后确保 .env 中的 ENCRYPTION_KEY 与 --to 参数匹配。
• 如果禁用加密，请移除或清空 ENCRYPTION_KEY 配置。

密钥生成示例

# 生成安全随机密钥（32个字符）
openssl rand -base64 32 | tr -d "=+/" | cut -c1-32

Web管理界面

访问管理控制台的地址：（默认地址）

界面概述

Web管理界面提供以下功能：

• 仪表盘：实时统计数据和系统状态概览
• 密钥管理：创建和配置AI服务提供商组，添加、删除和监控API密钥
• 请求日志：详细的请求历史和调试信息
• 系统设置：全局配置管理和热重载

6. 支持的接口

OpenAI 聊天补全格式 (openai):

• /v1/chat/completions - 聊天对话
• /v1/completions - 文本补全
• /v1/embeddings - 文本嵌入
• /v1/models - 模型列表
• 以及所有其他 OpenAI 兼容接口

OpenAI 响应格式 (openai-response):

• /v1/responses - 统一响应生成
• /v1/models - 模型列表
• 以及所有其他 OpenAI Responses 兼容接口

Gemini 格式:

• /v1beta/models/*/generateContent - 内容生成
• /v1beta/models - 模型列表
• 以及所有其他 Gemini 原生接口

Anthropic 格式:

• /v1/messages - 消息对话
• /v1/models - 模型列表（如可用）
• 以及所有其他 Anthropic 原生接口

7. 客户端 SDK 配置

OpenAI Python SDK:

from openai import OpenAI

client = OpenAI(
api_key="your-proxy-key", # 使用代理密钥
base_url="http://localhost:3001/proxy/openai" # 使用代理端点
)

response = client.chat.completions.create(
model="gpt-4.1-mini",
messages=[{"role": "user", "content": "Hello"}]
)

Google Gemini SDK (Python):

import google.generativeai as genai

# 配置 API 密钥和基础 URL
genai.configure(
api_key="your-proxy-key", # 使用代理密钥
client_options={"api_endpoint": "http://localhost:3001/proxy/gemini"}
)

model = genai.GenerativeModel('gemini-2.5-pro')
response = model.generate_content("Hello")

Anthropic SDK (Python):

from anthropic import Anthropic

client = Anthropic(
api_key="your-proxy-key", # 使用代理密钥
base_url="http://localhost:3001/proxy/anthropic" # 使用代理端点
)

response = client.messages.create(
model="claude-sonnet-4-20250514",
messages=[{"role": "user", "content": "Hello"}]
)

[!IMPORTANT] 作为透明代理服务，GPT-Load 完全保留了各类 AI 服务的原生 API 格式和认证方式。您只需替换端点地址，并使用管理界面中配置的 代理密钥 即可实现无缝迁移。

相关项目

• https://github.com/QuantumNous/new-api - 优秀的 AI 模型聚合管理与分发系统

贡献

感谢所有为 GPT-Load 做出贡献的开发者！

支持者

• 非常感谢 LINUX DO 社区的支持！

• 本项目由 DigitalOcean 支持。

许可证

MIT 许可证 - 详见 LICENSE 文件。

星级历史