ghcr.io/tbphp/gpt-load:v1.4.9

GPT-Load

英文 | 中文 | 日本語

一款高性能、企业级的AI API透明代理服务，专为需要集成多个AI服务的企业和开发者设计。采用Go语言构建，具备智能密钥管理、负载均衡和全面监控能力，适用于高并发生产环境。

详细文档请访问 官方文档

赞助商

感谢TeamoRouter对本项目的赞助！TeamoRouter是企业级Agentic LLM网关，让开发者、AI团队和企业无需单独订阅，即可通过统一API访问Claude Code、Codex、Gemini CLI等AI代理，折扣高达90%。它连接官方提供商和可信合作伙伴（如OpenAI、Anthropic、Vertex、Azure和AWS Bedrock），提供经过验证的Agent协议兼容性、请求可追溯性、接近官方的TTFT、99.6%的SLA以及高达5,000 QPM。还包括集中式billing、团队管理、BYOK、智能路由、分析、提供商优化和专属支持。Teamo Desktop支持一键设置，无需API密钥管理或手动配置，新用户通过此链接注册可获得首次充值10%折扣。

感谢Unity2.ai对本项目的赞助！Unity2.ai是面向个人开发者、团队和企业的高性能AI模型API中继平台。长期服务于中国头部企业，每日处理超过300亿token调用，支持5000 RPM高并发。支持余额计费、首次充值奖励、捆绑订阅、企业开票和专属集成支持。通过此链接注册可获得2余额；加入官方群可再获得10余额，最高12***免费额度。

非常感谢LINUX DO社区的支持！

本项目由DigitalOcean支持。

特性

• 透明代理：完整保留原生API格式，支持OpenAI、Google Gemini、Anthropic Claude等格式
• 智能密钥管理：高性能密钥池，支持分组管理、自动轮换和故障恢复
• 负载均衡：多上游端点加权负载均衡，提升服务可用性
• 智能故障处理：自动密钥黑名单管理和恢复机制，确保服务连续性
• 动态配置：系统设置和分组配置支持热重载，无需重启
• 企业级架构：分布式主从部署，支持水平扩展和高可用
• 现代化管理：基于Vue 3的Web管理界面，直观易用
• 全面监控：实时统计、健康检查和详细请求日志
• 高性能设计：零拷贝流、连接池复用和原子操作
• 生产就绪：优雅关闭、错误恢复和全面安全机制
• 双重认证：管理端与代理端分离认证，代理认证支持全局和分组级密钥

支持的AI服务

GPT-Load作为透明代理服务，完整保留各AI服务提供商的原生API格式：

• OpenAI格式：官方OpenAI API、Azure OpenAI及其他OpenAI兼容服务
• Google Gemini格式：Gemini Pro、Gemini Pro Vision等模型的原生API
• Anthropic Claude格式：Claude系列模型，支持高质量对话和文本生成

快速开始

系统要求

• Go 1.24+（用于源码构建）
• Docker（用于容器化部署）
• MySQL、PostgreSQL或SQLite（用于数据库存储）
• Redis（用于缓存和分布式协调，可选）

方法1：Docker快速启动

docker run -d --name gpt-load \
-p 3001:3001 \
-e AUTH_KEY=your-secure-key-here \
-v "$(pwd)/data":/app/data \
ghcr.io/tbphp/gpt-load:latest

[!NOTE] 请将your-secure-key-here修改为强密码（切勿使用默认值），然后即可登录管理界面：

方法2：使用Docker Compose（推荐）

安装命令：

# 创建目录
mkdir -p gpt-load && cd gpt-load

# 下载配置文件
wget https://raw.githubusercontent.com/tbphp/gpt-load/refs/heads/main/docker-compose.yml
wget -O .env https://raw.githubusercontent.com/tbphp/gpt-load/refs/heads/main/.env.example

# 编辑.env文件，将AUTH_KEY修改为强密码。切勿使用默认值或sk-123456等简单密钥。

# 启动服务
docker compose up -d

部署前必须修改默认管理员密钥（AUTH_KEY）。推荐格式：sk-prod-[32位随机字符串]。

默认安装使用SQLite版本，适用于轻量级、单实例应用。

如需安装MySQL、PostgreSQL和Redis，请取消docker-compose.yml文件中所需服务的注释，配置相应环境变量并重启。

其他命令：

# 检查服务状态
docker compose ps

# 查看日志
docker compose logs -f

# 重启服务
docker compose down && docker compose up -d

# 更新至最新版本
docker compose pull && docker compose down && docker compose up -d

部署后：

• 访问Web管理界面：
• API代理地址：

[!NOTE] 使用修改后的AUTH_KEY登录管理界面。

方法3：源码构建

源码构建需要本地安装数据库（SQLite、MySQL或PostgreSQL）和Redis（可选）。

# 克隆并构建
git clone https://github.com/tbphp/gpt-load.git
cd gpt-load
go mod tidy

# 创建配置
cp .env.example .env

# 编辑.env文件，将AUTH_KEY修改为强密码。切勿使用默认值或sk-123456等简单密钥。
# 修改.env中的DATABASE_DSN和REDIS_DSN配置
# REDIS_DSN为可选配置，若不配置将启用内存存储

# 运行
make run

部署后：

• 访问Web管理界面：
• API代理地址：

[!NOTE] 使用修改后的AUTH_KEY登录管理界面。

方法4：集群部署

集群部署要求所有节点连接到同一MySQL（或PostgreSQL）和Redis，其中Redis为必填项。建议使用统一的分布式MySQL和Redis集群。

部署要求：

• 所有节点必须配置相同的AUTH_KEY、DATABASE_DSN、REDIS_DSN
• 主从架构中，从节点必须配置环境变量：IS_SLAVE=true

详情请参考 集群部署文档

配置系统

配置架构概述

GPT-Load 采用双层配置架构：

1. 静态配置（环境变量）

• 特点：应用启动时读取，运行时不可变更，需重启应用生效
• 用途：数据库连接、服务器端口、认证密钥等基础设施配置
• 管理方式：通过 .env 文件或系统环境变量设置

2. 动态配置（热重载）

• 系统设置：存储于数据库，为整个应用提供统一行为标准
• 分组配置：针对特定分组的自定义行为参数，可覆盖系统设置
• 配置优先级：分组配置

系统设置 环境配置

• 特点：支持热重载，修改后立即生效，无需重启应用

静态配置（环境变量）

服务器配置：

安全配置：

数据库配置：

性能与跨域配置：

日志配置：

代理配置：

GPT-Load 会自动从环境变量读取代理设置，用于向上游AI服务提供商发起请求。

支持的代理协议格式：

• HTTP：http://user:pass@host:port
• HTTPS：https://user:pass@host:port
• SOCKS5：socks5://user:pass@host:port

动态配置（热重载）

基本设置：

请求设置：

密钥配置：

Web管理界面

通过以下地址访问管理控制台：（默认地址）

界面概述

Web管理界面提供以下功能：

• 仪表盘：实时统计数据和系统状态概览
• 密钥管理：创建和配置AI服务提供商分组，添加、删除和监控API密钥
• 请求日志：详细的请求历史和调试信息
• 系统设置：全局配置管理和热重载

API使用指南

代理接口调用

GPT-Load通过分组名称将请求路由到不同的AI服务。使用方法如下：

1. 代理端点格式

• {group_name}：在管理界面中创建的分组名称
• {original_api_path}：与原始AI服务路径保持完全一致

2. 认证方式

在Web管理界面中配置代理密钥，支持系统级和分组级代理密钥。

• 认证方式：与原生API一致，但需将原始密钥替换为已配置的代理密钥。
• 密钥作用域：在系统设置中配置的全局代理密钥可用于所有分组；在分组中配置的分组代理密钥仅对当前分组有效。
• 格式：多个密钥之间用逗号分隔。

3. OpenAI接口示例

GPT-Load目前支持两种与OpenAI兼容的分组类型：

• openai（OpenAI聊天补全格式）
• openai-response（OpenAI响应格式）

假设已创建名为openai的分组：

原始调用：

curl -X POST https://api.openai.com/v1/chat/completions \
-H "Authorization: Bearer sk-your-openai-key" \
-H "Content-Type: application/json" \
-d '{"model": "gpt-4.1-mini", "messages": [{"role": "user", "content": "Hello"}]}'

代理调用：

curl -X POST http://localhost:3001/proxy/openai/v1/chat/completions \
-H "Authorization: Bearer your-proxy-key" \
-H "Content-Type: application/json" \
-d '{"model": "gpt-4.1-mini", "messages": [{"role": "user", "content": "Hello"}]}'

需修改的内容：

• 将https://api.openai.com替换为http://localhost:3001/proxy/openai
• 将原始API密钥替换为代理密钥

OpenAI响应格式示例（openai-response分组）：

curl -X POST http://localhost:3001/proxy/openai-response/v1/responses \
-H "Authorization: Bearer your-proxy-key" \
-H "Content-Type: application/json" \
-d '{"model": "gpt-4.1-mini", "input": "Hello"}'

4. Gemini接口示例

假设已创建名为gemini的分组：

原始调用：

curl -X POST https://generativelanguage.googleapis.com/v1beta/models/gemini-2.5-pro:generateContent?key=your-gemini-key \
-H "Content-Type: application/json" \
-d '{"contents": [{"parts": [{"text": "Hello"}]}]}'

代理调用：

curl -X POST http://localhost:3001/proxy/gemini/v1beta/models/gemini-2.5-pro:generateContent?key=your-proxy-key \
-H "Content-Type: application/json" \
-d '{"contents": [{"parts": [{"text": "Hello"}]}]}'

所需更改：

• 将 https://generativelanguage.googleapis.com 替换为 http://localhost:3001/proxy/gemini
• 将 URL 参数中的 key=your-gemini-key 替换为 代理密钥

5. Anthropic 接口示例

假设已创建名为 anthropic 的分组：

原始调用：

curl -X POST https://api.anthropic.com/v1/messages \
-H "x-api-key: sk-ant-api03-your-anthropic-key" \
-H "anthropic-version: 2023-06-01" \
-H "Content-Type: application/json" \
-d '{"model": "claude-sonnet-4-20250514", "messages": [{"role": "user", "content": "Hello"}]}'

代理调用：

curl -X POST http://localhost:3001/proxy/anthropic/v1/messages \
-H "x-api-key: your-proxy-key" \
-H "anthropic-version: 2023-06-01" \
-H "Content-Type: application/json" \
-d '{"model": "claude-sonnet-4-20250514", "messages": [{"role": "user", "content": "Hello"}]}'

所需更改：

• 将 https://api.anthropic.com 替换为 http://localhost:3001/proxy/anthropic
• 将 x-api-key 头中的原始 API 密钥替换为 代理密钥

6. 支持的接口

OpenAI 聊天补全格式（openai）：

• /v1/chat/completions - 聊天对话
• /v1/completions - 文本补全
• /v1/embeddings - 文本嵌入
• /v1/models - 模型列表
• 以及所有其他 OpenAI 兼容接口

OpenAI 响应格式（openai-response）：

• /v1/responses - 统一响应生成
• /v1/models - 模型列表
• 以及所有其他 OpenAI Responses 兼容接口

Gemini 格式：

• /v1beta/models/*/generateContent - 内容生成
• /v1beta/models - 模型列表
• 以及所有其他 Gemini 原生接口

Anthropic 格式：

• /v1/messages - 消息对话
• /v1/models - 模型列表（如可用）
• 以及所有其他 Anthropic 原生接口

7. 客户端 SDK 配置

OpenAI Python SDK：

from openai import OpenAI

client = OpenAI(
api_key="your-proxy-key", # 使用代理密钥
base_url="http://localhost:3001/proxy/openai" # 使用代理端点
)

response = client.chat.completions.create(
model="gpt-4.1-mini",
messages=[{"role": "user", "content": "Hello"}]
)

Google Gemini SDK（Python）：

import google.generativeai as genai

# 配置 API 密钥和基础 URL
genai.configure(
api_key="your-proxy-key", # 使用代理密钥
client_options={"api_endpoint": "http://localhost:3001/proxy/gemini"}
)

model = genai.GenerativeModel('gemini-2.5-pro')
response = model.generate_content("Hello")

Anthropic SDK（Python）：

from anthropic import Anthropic

client = Anthropic(
api_key="your-proxy-key", # 使用代理密钥
base_url="http://localhost:3001/proxy/anthropic" # 使用代理端点
)

response = client.messages.create(
model="claude-sonnet-4-20250514",
messages=[{"role": "user", "content": "Hello"}]
)

[!IMPORTANT] 重要说明：作为透明代理服务，GPT-Load 完全保留了各类 AI 服务的原生 API 格式和认证方式。您只需替换端点地址，并使用管理界面中配置的 代理密钥，即可实现无缝迁移。

相关项目

• https://github.com/QuantumNous/new-api - 优秀的 AI 模型聚合管理与分发系统

贡献

感谢所有为 GPT-Load 做出贡献的开发者！

许可协议

MIT 许可协议 - 详见 LICENSE 文件。

星标历史