ghcr.io/tbphp/gpt-load:v1.0.2-beta

GPT-Load

英文 | 中文 | 日本語

一款高性能、企业级的AI API透明代理服务，专为需要集成多个AI服务的企业和开发者设计。采用Go语言构建，具备智能密钥管理、负载均衡和全面监控能力，适用于高并发生产环境。

详细文档请访问 官方文档

赞助商

感谢TeamoRouter对本项目的赞助！TeamoRouter是一款企业级Agentic LLM网关，让开发者、AI团队和企业无需单独订阅，即可通过统一API访问Claude Code、Codex、Gemini CLI等AI代理，折扣高达90%。它连接OpenAI、Anthropic、Vertex、Azure、AWS Bedrock等官方提供商和可信合作伙伴，提供经过验证的Agent协议兼容性、请求可追溯性、接近官方的TTFT、99.6%的SLA以及高达5,000 QPM。还包括集中billing、团队管理、BYOK、智能路由、分析、提供商优化和专属支持。Teamo Desktop支持一键设置，无需API密钥管理或手动配置，新用户通过此链接注册可获得首次充值10%的折扣。

非常感谢LINUX DO社区的支持！

本项目由DigitalOcean支持。

功能特性

• 透明代理：完整保留原生API格式，支持OpenAI、Google Gemini、Anthropic Claude等格式
• 智能密钥管理：高性能密钥池，支持分组管理、自动轮换和故障恢复
• 负载均衡：多上游端点加权负载均衡，提升服务可用性
• 智能故障处理：自动密钥黑名单管理和恢复机制，确保服务连续性
• 动态配置：系统设置和分组配置支持热重载，无需重启
• 企业级架构：分布式主从部署，支持水平扩展和高可用性
• 现代化管理：基于Vue 3的Web管理界面，直观易用
• 全面监控：实时统计、健康检查和详细请求日志
• 高性能设计：零拷贝流处理、连接池复用和原子操作
• 生产就绪：优雅关闭、错误恢复和全面安全机制
• 双重认证：管理端与代理端分离认证，代理认证支持全局和分组级密钥

支持的AI服务

GPT-Load作为透明代理服务，完整保留各AI服务提供商的原生API格式：

• OpenAI格式：官方OpenAI API、Azure OpenAI及其他OpenAI兼容服务
• Google Gemini格式：Gemini Pro、Gemini Pro Vision等模型的原生API
• Anthropic Claude格式：Claude系列模型，支持高质量对话和文本生成

快速开始

系统要求

• Go 1.24+（用于源码构建）
• Docker（用于容器化部署）
• MySQL、PostgreSQL或SQLite（用于数据库存储）
• Redis（用于缓存和分布式协调，可选）

方法1：Docker快速启动

docker run -d --name gpt-load \
-p 3001:3001 \
-e AUTH_KEY=your-secure-key-here \
-v "$(pwd)/data":/app/data \
ghcr.io/tbphp/gpt-load:latest

[!NOTE] 请将 your-secure-key-here 替换为强密码（切勿使用默认值），然后即可登录管理界面：

静态配置（环境变量）

服务器配置：

安全配置：

数据库配置：

性能与跨域配置：

日志配置：

代理配置：

GPT-Load会自动从环境变量读取代理设置，用于向上游AI服务提供商发起请求。

支持的代理协议格式：

• HTTP：http://user:pass@host:port
• HTTPS：https://user:pass@host:port
• SOCKS5：socks5://user:pass@host:port

Web管理界面

通过以下地址访问管理控制台：（默认地址）

界面概览

Web管理界面提供以下功能：

• 仪表盘：实时统计数据和系统状态概览
• 密钥管理：创建和配置AI服务提供商分组，添加、删除和监控API密钥
• 请求日志：详细的请求历史和调试信息
• 系统设置：全局配置管理和热重载

API使用指南

代理接口调用

GPT-Load通过分组名称将请求路由到不同的AI服务。使用方法如下：

1. 代理端点格式

• {group_name}：在管理界面中创建的分组名称
• {original_api_path}：与原始AI服务路径保持完全一致

2. 认证方式

在Web管理界面中配置代理密钥（Proxy Keys），支持系统级和分组级代理密钥。

• 认证方式：与原生API一致，但需将原始密钥替换为配置的代理密钥。
• 密钥作用域：在系统设置中配置的全局代理密钥（Global Proxy Keys） 可用于所有分组；在分组中配置的分组代理密钥（Group Proxy Keys） 仅对当前分组有效。
• 格式：多个密钥之间用逗号分隔。

3. OpenAI接口示例

GPT-Load目前支持两种与OpenAI兼容的分组类型：

• openai（OpenAI聊天补全格式）
• openai-response（OpenAI响应格式）

假设已创建名为openai的分组：

原始调用：

curl -X POST https://api.openai.com/v1/chat/completions \
-H "Authorization: Bearer sk-your-openai-key" \
-H "Content-Type: application/json" \
-d '{"model": "gpt-4.1-mini", "messages": [{"role": "user", "content": "Hello"}]}'

代理调用：

curl -X POST http://localhost:3001/proxy/openai/v1/chat/completions \
-H "Authorization: Bearer your-proxy-key" \
-H "Content-Type: application/json" \
-d '{"model": "gpt-4.1-mini", "messages": [{"role": "user", "content": "Hello"}]}'

需修改的内容：

• 将 https://api.openai.com 替换为 http://localhost:3001/proxy/openai
• 将原始API密钥替换为代理密钥（Proxy Key）

OpenAI响应格式示例（openai-response分组）：

curl -X POST http://localhost:3001/proxy/openai-response/v1/responses \
-H "Authorization: Bearer your-proxy-key" \
-H "Content-Type: application/json" \
-d '{"model": "gpt-4.1-mini", "input": "Hello"}'

4. Gemini接口示例

假设已创建名为gemini的分组：

原始调用：

curl -X POST https://generativelanguage.googleapis.com/v1beta/models/gemini-2.5-pro:generateContent?key=your-gemini-key \
-H "Content-Type: application/json" \
-d '{"contents": [{"parts": [{"text": "Hello"}]}]}'

代理调用：

curl -X POST http://localhost:3001/proxy/gemini/v1beta/models/gemini-2.5-pro:generateContent?key=your-proxy-key \
-H "Content-Type: application/json" \
-d '{"contents": [{"parts": [{"text": "Hello"}]}]}'

所需更改：

• 将 https://generativelanguage.googleapis.com 替换为 http://localhost:3001/proxy/gemini
• 将 URL 参数中的 key=your-gemini-key 替换为 代理密钥（Proxy Key）

5. Anthropic 接口示例

假设已创建名为 anthropic 的组：

原始调用：

curl -X POST https://api.anthropic.com/v1/messages \
-H "x-api-key: sk-ant-api03-your-anthropic-key" \
-H "anthropic-version: 2023-06-01" \
-H "Content-Type: application/json" \
-d '{"model": "claude-sonnet-4-20250514", "messages": [{"role": "user", "content": "Hello"}]}'

代理调用：

curl -X POST http://localhost:3001/proxy/anthropic/v1/messages \
-H "x-api-key: your-proxy-key" \
-H "anthropic-version: 2023-06-01" \
-H "Content-Type: application/json" \
-d '{"model": "claude-sonnet-4-20250514", "messages": [{"role": "user", "content": "Hello"}]}'

所需更改：

• 将 https://api.anthropic.com 替换为 http://localhost:3001/proxy/anthropic
• 将 x-api-key 头中的原始 API 密钥替换为 代理密钥（Proxy Key）

6. 支持的接口

OpenAI 聊天补全格式（openai）：

• /v1/chat/completions - 聊天对话
• /v1/completions - 文本补全
• /v1/embeddings - 文本嵌入
• /v1/models - 模型列表
• 以及所有其他 OpenAI 兼容接口

OpenAI 响应格式（openai-response）：

• /v1/responses - 统一响应生成
• /v1/models - 模型列表
• 以及所有其他 OpenAI Responses 兼容接口

Gemini 格式：

• /v1beta/models/*/generateContent - 内容生成
• /v1beta/models - 模型列表
• 以及所有其他 Gemini 原生接口

Anthropic 格式：

• /v1/messages - 消息对话
• /v1/models - 模型列表（如可用）
• 以及所有其他 Anthropic 原生接口

7. 客户端 SDK 配置

OpenAI Python SDK：

from openai import OpenAI

client = OpenAI(
api_key="your-proxy-key", # 使用代理密钥
base_url="http://localhost:3001/proxy/openai" # 使用代理端点
)

response = client.chat.completions.create(
model="gpt-4.1-mini",
messages=[{"role": "user", "content": "Hello"}]
)

Google Gemini SDK（Python）：

import google.generativeai as genai

# 配置 API 密钥和基础 URL
genai.configure(
api_key="your-proxy-key", # 使用代理密钥
client_options={"api_endpoint": "http://localhost:3001/proxy/gemini"}
)

model = genai.GenerativeModel('gemini-2.5-pro')
response = model.generate_content("Hello")

Anthropic SDK（Python）：

from anthropic import Anthropic

client = Anthropic(
api_key="your-proxy-key", # 使用代理密钥
base_url="http://localhost:3001/proxy/anthropic" # 使用代理端点
)

response = client.messages.create(
model="claude-sonnet-4-20250514",
messages=[{"role": "user", "content": "Hello"}]
)

[!IMPORTANT] 重要说明：作为透明代理服务，GPT-Load 完全保留各种 AI 服务的原生 API 格式和认证方式。您只需替换端点地址，并使用管理界面中配置的 代理密钥（Proxy Key） 即可无缝迁移。

相关项目

• https://github.com/QuantumNous/new-api - 优秀的 AI 模型聚合管理与分发系统

贡献

感谢所有为 GPT-Load 做出贡献的开发者！

许可证

MIT 许可证 - 详见 LICENSE 文件。

星级历史