ghcr.io/labring/aiproxy:v0.5.6

AI Proxy

兼容 OpenAI 协议的下一代 AI 网关

English | 简体中文

🚀 概述

AI Proxy 是一款功能强大、可用于生产环境的 AI 网关，提供智能请求路由、全面监控和无缝多租户管理。它基于兼容 OpenAI、Anthropic 和 Gemini 的协议构建，是需要可靠性、可扩展性和高级功能的 AI 应用的理想中间件。

✨ 核心特性

🔄 智能请求管理

• 智能重试逻辑：具备自动错误恢复的智能重试策略
• 基于优先级的通道选择：根据通道优先级和错误率路由请求
• 负载均衡：在多个 AI 提供商之间高效分配流量
• 协议转换：OpenAI Chat Completions、Claude Messages、Gemini 与 OpenAI Responses API 之间的无缝协议转换 Chat/Claude/Gemini → Responses API：使用仅支持响应的模型与任何协议
• Chat/Claude/Gemini → Responses API：使用仅支持响应的模型与任何协议

📊 全面监控与分析

• 实时告警：针对余额警告、错误率和异常情况的主动通知
• 详细日志：完整的请求/响应跟踪及审计 trail
• 高级分析：请求量、错误统计、RPM/TPM 指标及成本分析
• 通道性能：错误率分析和性能监控

🏢 多租户架构

• 组织隔离：不同组织之间的完全隔离
• 灵活访问控制：支持子网限制的基于令牌的身份验证
• 资源配额：每组的 RPM/TPM 限制和使用配额
• 自定义定价：按组的模型定价和计费配置

🤖 MCP（Model Context Protocol）支持

• 公共 MCP 服务器：即用型 MCP 集成
• 组织 MCP 服务器：组织专用的私有 MCP 服务器
• 嵌入式 MCP：带有配置模板的内置 MCP 服务器
• OpenAPI 转 MCP：将 OpenAPI 规范自动转换为 MCP 工具

🔌 插件系统

• 缓存插件：使用 Redis/内存存储对相同请求进行高性能缓存
• 网页搜索插件：支持 Google、Bing 和 Arxiv 的实时网页搜索功能
• Think Split Plugin：支持具有内容拆分的推理模型，自动处理标签 - Stream Fake Plugin：通过内部流式传输避免非流式请求超时
• 可扩展架构：轻松添加自定义插件以实现额外功能

🔧 高级功能

• 多格式支持：文本、图像、音频和文档处理
• 模型映射：灵活的模型别名和路由
• 提示词缓存：支持计费的智能缓存
• 思考模式：支持具有内容拆分的推理模型
• 内置分词器：无外部 ***en 依赖

📊 管理面板

AI Proxy 提供了一个管理面板，用于管理 AI Proxy 的配置和监控。

📚 API 文档

交互式 API 探索器

访问 http://localhost:3000/swagger/index.html 查看完整的 API 文档及交互式示例。

http://localhost:3000/swagger/index.html

快速 API 示例

列出可用模型

curl -H "Authorization: Bearer your-token" \

聊天补全

curl -X POST http://localhost:3000/v1/chat/completions \
-H "Authorization: Bearer your-token" \
-H "Content-Type: application/json" \
-d '{
"model": "gpt-4",
"messages": [{"role": "user", "content": "Hello!"}]
}'

Claude API

# 通过 OpenAI API 格式使用 Claude 模型
curl -X POST http://localhost:3000/v1/messages \
-H "X-Api-Key: Bearer your-token" \
-H "Content-Type: application/json" \
-d '{
"model": "gpt-5",
"messages": [{"role": "user", "content": "Hello Claude!"}]
}'

🚀 快速开始

Docker（推荐）

# 使用默认配置快速启动
docker run -d \
--name aiproxy \
-p 3000:3000 \
-v $(pwd)/aiproxy:/aiproxy \
-e ADMIN_KEY=your-admin-key \
ghcr.io/labring/aiproxy:latest

# 夜间构建版本
docker run -d \
--name aiproxy \
-p 3000:3000 \
-v $(pwd)/aiproxy:/aiproxy \
-e ADMIN_KEY=your-admin-key \
ghcr.io/labring/aiproxy:main

Docker Compose

# 下载 docker-compose.yaml
curl -O https://raw.githubusercontent.com/labring/aiproxy/main/docker-compose.yaml

# 启动服务
docker-compose up -d

🔧 配置

环境变量

核心设置

LISTEN=:3000 # 服务器监听地址
ADMIN_KEY=your-admin-key # 管理员API密钥
DISABLE_WEB_ROOT=true # 仅将 `/` 重定向到GitHub，保留其他Web路由可用

数据库配置

SQL_DSN=postgres://user:pass@host:5432/db # 主数据库
LOG_SQL_DSN=postgres://user:pass@host:5432/log_db # 日志数据库（可选）
REDIS=redis://localhost:6379 # 用于缓存的Redis

功能开关

BILLING_ENABLED=true # 启用计费功能
SAVE_ALL_LOG_DETAIL=true # 记录所有请求详情

高级配置

点击展开高级配置选项

配额

GROUP_MAX_TOKEN_NUM=100 # 每组最大令牌数

日志与留存

LOG_STORAGE_HOURS=168 # 日志留存时间（0表示无限制）
LOG_DETAIL_STORAGE_HOURS=72 # 详细日志留存时间
CLEAN_LOG_BATCH_SIZE=5000 # 日志清理批处理大小

安全与访问控制

IP_GROUPS_THRESHOLD=5 # IP共享警报阈值
IP_GROUPS_BAN_THRESHOLD=10 # IP共享封禁阈值

通过配置以下环境变量，将AI Proxy与Gemini CLI配合使用：

export GOOGLE_GEMINI_BASE_URL=http://127.0.0.1:3000
export GEMINI_API_KEY=sk-xxx

或者，您可以使用Gemini CLI中的/auth命令输出GEMINI_API_KEY。

Codex 集成

通过配置~/.codex/config.toml，将AI Proxy与Codex配合使用：

# 注意：在TOML中，根键必须在表格之前列出。
model = "gpt-4o"
model_provider = "aiproxy"

[model_providers.aiproxy]
# 将在Codex UI中显示的提供程序名称。
name = "AIProxy"
# 路径`/chat/completions`将附加到此URL，以发起聊天补全的POST请求。
base_url = "http://127.0.0.1:3000/v1"
# 如果设置了`env_key`，则标识使用此提供程序的Codex时必须设置的环境变量。环境变量的值必须非空，并将用于POST请求的`Bearer TOKEN` HTTP头中。
env_key = "AIPROXY_API_KEY"
# wire_api的有效值为"chat"和"responses"。如果省略，默认为"chat"。
wire_api = "chat"

协议转换支持：

• 仅响应模型：对于仅支持Responses API的模型，AI Proxy会自动将Chat/Claude/Gemini请求转换为Responses API格式
• 多协议访问：使用任何协议（Chat Completions、Claude Messages或Gemini）访问仅响应模型
• 透明转换：无需客户端更改——AI Proxy自动处理协议转换

推理/思考兼容性文档：

• 推理/思考兼容性

MCP（模型上下文协议）

AI Proxy提供全面的MCP支持，以扩展AI功能：

• 公共MCP服务器：社区维护的集成
• 组织MCP服务器：私有的组织工具
• 嵌入式MCP：易于配置的内置功能
• OpenAPI转MCP：从API规范自动生成工具

🛠️ 开发

前提条件

• Go 1.24+
• Node.js 22+（用于前端开发）
• PostgreSQL（可选，默认使用SQLite）
• Redis（可选，用于缓存）

从源代码构建

# 克隆仓库
git clone https://github.com/labring/aiproxy.git
cd aiproxy

# 构建前端（可选）
cd web && npm install -g pnpm && pnpm install && pnpm run build && cp -r dist ../core/public/dist/ && cd ..

# 构建后端
cd core && go build -o aiproxy .

# 运行
./aiproxy

📄 许可证

本项目采用MIT许可证授权——详情参见LICENSE文件。

🙏 致谢

• OpenAI 提供API规范
• 开源社区提供各种集成
• AI Proxy的所有贡献者和用户