GPT-Load

English | 中文 | 日语

一款高性能、企业级的AI API透明代理服务，专为需要集成多个AI服务的企业和开发者设计。基于Go构建，具备智能密钥管理、负载均衡和全面监控能力，适用于高并发生产环境。

详细文档请访问 官方文档

安全配置：

数据库配置：

性能与跨域配置：

日志配置：

代理配置：

GPT-Load会自动从环境变量读取代理设置，用于向上游AI服务提供商发起请求。

支持的代理协议格式：

• HTTP：http://user:pass@host:port
• HTTPS：https://user:pass@host:port
• SOCKS5：socks5://user:pass@host:port

动态配置（热重载）

基本设置：

请求设置：

密钥配置：

数据加密迁移

GPT-Load支持API密钥的加密存储。您可以随时启用、禁用或更改加密密钥。

查看数据加密迁移详情

迁移场景

API使用指南

代理接口调用

GPT-Load通过组名将请求路由到不同的AI服务。使用方法如下：

1. 代理端点格式

• {group_name}：在管理界面中创建的组名
• {original_api_path}：与原始AI服务路径保持完全一致

2. 认证方式

在Web管理界面中配置代理密钥，支持系统级和组级代理密钥。

• 认证方式：与原生API一致，但将原始密钥替换为配置的代理密钥。
• 密钥作用域：在系统设置中配置的全局代理密钥可用于所有组。在组中配置的组代理密钥仅对当前组有效。
• 格式：多个密钥用逗号分隔。

3. OpenAI接口示例

GPT-Load目前支持两种与OpenAI兼容的组类型：

• openai（OpenAI Chat Completions格式）
• openai-response（OpenAI Responses格式）

假设已创建名为openai的组：

原始调用：

curl -X POST https://api.openai.com/v1/chat/completions \
-H "Authorization: Bearer sk-your-openai-key" \
-H "Content-Type: application/json" \
-d '{"model": "gpt-4.1-mini", "messages": [{"role": "user", "content": "Hello"}]}'

代理调用：

curl -X POST http://localhost:3001/proxy/openai/v1/chat/completions \
-H "Authorization: Bearer your-proxy-key" \
-H "Content-Type: application/json" \
-d '{"model": "gpt-4.1-mini", "messages": [{"role": "user", "content": "Hello"}]}'

需修改的内容：

• 将https://api.openai.com替换为http://localhost:3001/proxy/openai
• 将原始API密钥替换为代理密钥

OpenAI Responses格式示例（openai-response组）：

curl -X POST http://localhost:3001/proxy/openai-response/v1/responses \
-H "Authorization: Bearer your-proxy-key" \
-H "Content-Type: application/json" \
-d '{"model": "gpt-4.1-mini", "input": "Hello"}'

4. Gemini接口示例

假设已创建名为gemini的组：

原始调用：

curl -X POST https://generativelanguage.googleapis.com/v1beta/models/gemini-2.5-pro:generateContent?key=your-gemini-key \
-H "Content-Type: application/json" \
-d '{"contents": [{"parts": [{"text": "Hello"}]}]}'

代理调用：

curl -X POST http://localhost:3001/proxy/gemini/v1beta/models/gemini-2.5-pro:generateContent?key=your-proxy-key \
-H "Content-Type: application/json" \
-d '{"contents": [{"parts": [{"text": "Hello"}]}]}'

需修改的内容：

• 将https://generativelanguage.googleapis.com替换为http://localhost:3001/proxy/gemini
• 将URL参数中的key=your-gemini-key替换为代理密钥

5. Anthropic接口示例

假设已创建名为anthropic的组：

原始调用：

curl -X POST https://api.anthropic.com/v1/messages \
-H "x-api-key: sk-ant-api03-your-anthropic-key" \
-H "anthropic-version: 2023-06-01" \
-H "Content-Type: application/json" \
-d '{"model": "claude-sonnet-4-20250514", "messages": [{"role": "user", "content": "Hello"}]}'

代理调用：

curl -X POST http://localhost:3001/proxy/anthropic/v1/messages \
-H "x-api-key: your-proxy-key" \
-H "anthropic-version: 2023-06-01" \
-H "Content-Type: application/json" \
-d '{"model": "claude-sonnet-4-20250514", "messages": [{"role": "user", "content": "Hello"}]}'

需修改的内容：

• 将https://api.anthropic.com替换为http://localhost:3001/proxy/anthropic
• 将x-api-key头中的原始API密钥替换为代理密钥

6. 支持的接口

OpenAI 聊天补全格式（openai）：

• /v1/chat/completions - 聊天对话
• /v1/completions - 文本补全
• /v1/embeddings - 文本嵌入
• /v1/models - 模型列表
• 以及所有其他 OpenAI 兼容接口

OpenAI 响应格式（openai-response）：

• /v1/responses - 统一响应生成
• /v1/models - 模型列表
• 以及所有其他 OpenAI Responses 兼容接口

Gemini 格式：

• /v1beta/models/*/generateContent - 内容生成
• /v1beta/models - 模型列表
• 以及所有其他 Gemini 原生接口

Anthropic 格式：

• /v1/messages - 消息对话
• /v1/models - 模型列表（如可用）
• 以及所有其他 Anthropic 原生接口

7. 客户端 SDK 配置

OpenAI Python SDK：

from openai import OpenAI

client = OpenAI(
api_key="your-proxy-key", # 使用代理密钥
base_url="http://localhost:3001/proxy/openai" # 使用代理端点
)

response = client.chat.completions.create(
model="gpt-4.1-mini",
messages=[{"role": "user", "content": "Hello"}]
)

Google Gemini SDK（Python）：

import google.generativeai as genai

# 配置 API 密钥和基础 URL
genai.configure(
api_key="your-proxy-key", # 使用代理密钥
client_options={"api_endpoint": "http://localhost:3001/proxy/gemini"}
)

model = genai.GenerativeModel('gemini-2.5-pro')
response = model.generate_content("Hello")

Anthropic SDK（Python）：

from anthropic import Anthropic

client = Anthropic(
api_key="your-proxy-key", # 使用代理密钥
base_url="http://localhost:3001/proxy/anthropic" # 使用代理端点
)

response = client.messages.create(
model="claude-sonnet-4-20250514",
messages=[{"role": "user", "content": "Hello"}]
)

[!IMPORTANT] 作为透明代理服务，GPT-Load 完全保留各类 AI 服务的原生 API 格式和身份验证方式。您只需替换端点地址，并使用管理界面中配置的 代理密钥（Proxy Key）即可实现无缝迁移。

相关项目

• https://github.com/QuantumNous/new-api - 优秀的 AI 模型聚合管理与分发系统

贡献

感谢所有为 GPT-Load 做出贡献的开发者！

支持者

• 非常感谢 LINUX DO 社区的支持！

• 本项目由 DigitalOcean 提供支持。

许可证

MIT 许可证 - 详见 LICENSE 文件。

星级历史