ghcr.io/tbphp/gpt-load:beta

GPT-Load

English | 中文 | 日本語

一款高性能、企业级的AI API透明代理服务，专为需要集成多个AI服务的企业和开发者设计。使用Go构建，具备智能密钥管理、负载均衡和全面监控能力，适用于高并发生产环境。

详细文档请访问 官方文档

赞助商

感谢APIMart对本项目的赞助！APIMart是一个低成本的AI图像和视频生成API平台——GPT-Image-2低至$0.006/张，每***可生成160+张图像。一个异步API同时覆盖图像和视频：提交任务，获取ID，通过轮询或回调获取结果。可批量处理数万张图像而无超时，无需更改代码即可切换模型。按使用付费，无月费——立即注册开始使用。

非常感谢LINUX DO社区的支持！

本项目由DigitalOcean支持。

特性

• 透明代理：完全保留原生API格式，支持OpenAI、Google Gemini、Anthropic Claude等多种格式
• 智能密钥管理：高性能密钥池，支持分组管理、自动轮换和故障恢复
• 负载均衡：多上游端点加权负载均衡，提升服务可用性
• 智能故障处理：自动密钥黑名单管理和恢复机制，确保服务连续性
• 动态配置：系统设置和分组配置支持热重载，无需重启
• 企业级架构：分布式主从部署，支持水平扩展和高可用
• 现代化管理：基于Vue 3的Web管理界面，直观易用
• 全面监控：实时统计、健康检查和详细请求日志
• 高性能设计：零拷贝流处理、连接池复用和原子操作
• 生产就绪：优雅关闭、错误恢复和全面安全机制
• 双重认证：管理端和代理端分离认证，代理认证支持全局和分组级密钥

支持的AI服务

GPT-Load作为透明代理服务，完全保留各AI服务提供商的原生API格式：

• OpenAI格式：官方OpenAI API、Azure OpenAI及其他OpenAI兼容服务
• Google Gemini格式：Gemini Pro、Gemini Pro Vision等模型的原生API
• Anthropic Claude格式：Claude系列模型，支持高质量对话和文本生成

安全配置：

数据库配置：

性能与CORS配置：

日志配置：

代理配置：

GPT-Load会自动从环境变量读取代理设置，用于向上游AI服务提供商发起请求。

支持的代理协议格式：

• HTTP：http://user:pass@host:port
• HTTPS：https://user:pass@host:port
• SOCKS5：socks5://user:pass@host:port

动态配置（热重载）

基本设置：

请求设置：

密钥配置：

数据加密迁移

GPT-Load支持API密钥的加密存储。您可以随时启用、禁用或更改加密密钥。

查看数据加密迁移详情

迁移场景

API使用指南

代理接口调用

GPT-Load通过组名将请求路由到不同的AI服务。使用方法如下：

1. 代理端点格式

• {group_name}：在管理界面中创建的组名
• {original_api_path}：与原始AI服务路径保持完全一致

2. 认证方式

在Web管理界面中配置代理密钥，支持系统级和组级代理密钥。

• 认证方式：与原生API一致，但将原始密钥替换为配置的代理密钥。
• 密钥作用域：在系统设置中配置的全局代理密钥可用于所有组。在组中配置的组代理密钥仅对当前组有效。
• 格式：多个密钥用逗号分隔。

3. OpenAI接口示例

GPT-Load目前支持两种OpenAI兼容的组类型：

• openai（OpenAI Chat Completions格式）
• openai-response（OpenAI Responses格式）

假设已创建名为openai的组：

原始调用：

curl -X POST https://api.openai.com/v1/chat/completions \
-H "Authorization: Bearer sk-your-openai-key" \
-H "Content-Type: application/json" \
-d '{"model": "gpt-4.1-mini", "messages": [{"role": "user", "content": "Hello"}]}'

代理调用：

curl -X POST http://localhost:3001/proxy/openai/v1/chat/completions \
-H "Authorization: Bearer your-proxy-key" \
-H "Content-Type: application/json" \
-d '{"model": "gpt-4.1-mini", "messages": [{"role": "user", "content": "Hello"}]}'

需修改内容：

• 将https://api.openai.com替换为http://localhost:3001/proxy/openai
• 将原始API密钥替换为代理密钥

OpenAI Responses格式示例（openai-response组）：

curl -X POST http://localhost:3001/proxy/openai-response/v1/responses \
-H "Authorization: Bearer your-proxy-key" \
-H "Content-Type: application/json" \
-d '{"model": "gpt-4.1-mini", "input": "Hello"}'

4. Gemini接口示例

假设已创建名为gemini的组：

原始调用：

curl -X POST https://generativelanguage.googleapis.com/v1beta/models/gemini-2.5-pro:generateContent?key=your-gemini-key \
-H "Content-Type: application/json" \
-d '{"contents": [{"parts": [{"text": "Hello"}]}]}'

代理调用：

curl -X POST http://localhost:3001/proxy/gemini/v1beta/models/gemini-2.5-pro:generateContent?key=your-proxy-key \
-H "Content-Type: application/json" \
-d '{"contents": [{"parts": [{"text": "Hello"}]}]}'

需修改内容：

• 将https://generativelanguage.googleapis.com替换为http://localhost:3001/proxy/gemini
• 将URL参数中的key=your-gemini-key替换为代理密钥

5. Anthropic接口示例

假设已创建名为anthropic的组：

原始调用：

curl -X POST https://api.anthropic.com/v1/messages \
-H "x-api-key: sk-ant-api03-your-anthropic-key" \
-H "anthropic-version: 2023-06-01" \
-H "Content-Type: application/json" \
-d '{"model": "claude-sonnet-4-20250514", "messages": [{"role": "user", "content": "Hello"}]}'

代理调用：

curl -X POST http://localhost:3001/proxy/anthropic/v1/messages \
-H "x-api-key: your-proxy-key" \
-H "anthropic-version: 2023-06-01" \
-H "Content-Type: application/json" \
-d '{"model": "claude-sonnet-4-20250514", "messages": [{"role": "user", "content": "Hello"}]}'

需修改内容：

• 将https://api.anthropic.com替换为http://localhost:3001/proxy/anthropic
• 将x-api-key请求头中的原始API密钥替换为代理密钥

6. 支持的接口

OpenAI 聊天补全格式（openai）：

• /v1/chat/completions - 聊天对话
• /v1/completions - 文本补全
• /v1/embeddings - 文本嵌入
• /v1/models - 模型列表
• 以及所有其他 OpenAI 兼容接口

OpenAI 响应格式（openai-response）：

• /v1/responses - 统一响应生成
• /v1/models - 模型列表
• 以及所有其他 OpenAI Responses 兼容接口

Gemini 格式：

• /v1beta/models/*/generateContent - 内容生成
• /v1beta/models - 模型列表
• 以及所有其他 Gemini 原生接口

Anthropic 格式：

• /v1/messages - 消息对话
• /v1/models - 模型列表（若可用）
• 以及所有其他 Anthropic 原生接口

7. 客户端 SDK 配置

OpenAI Python SDK：

from openai import OpenAI

client = OpenAI(
api_key="your-proxy-key", # 使用代理密钥
base_url="http://localhost:3001/proxy/openai" # 使用代理端点
)

response = client.chat.completions.create(
model="gpt-4.1-mini",
messages=[{"role": "user", "content": "Hello"}]
)

Google Gemini SDK（Python）：

import google.generativeai as genai

# 配置 API 密钥和基础 URL
genai.configure(
api_key="your-proxy-key", # 使用代理密钥
client_options={"api_endpoint": "http://localhost:3001/proxy/gemini"}
)

model = genai.GenerativeModel('gemini-2.5-pro')
response = model.generate_content("Hello")

Anthropic SDK（Python）：

from anthropic import Anthropic

client = Anthropic(
api_key="your-proxy-key", # 使用代理密钥
base_url="http://localhost:3001/proxy/anthropic" # 使用代理端点
)

response = client.messages.create(
model="claude-sonnet-4-20250514",
messages=[{"role": "user", "content": "Hello"}]
)

[!IMPORTANT] 作为透明代理服务，GPT-Load 完全保留了各类 AI 服务的原生 API 格式和认证方式。您只需替换端点地址，并使用管理界面中配置的 代理密钥 即可实现无缝迁移。

相关项目

• https://github.com/QuantumNous/new-api - 优秀的 AI 模型聚合管理与分发系统

贡献

感谢所有为 GPT-Load 做出贡献的开发者！

许可证

MIT 许可证 - 详情参见 LICENSE 文件。

星标历史