maximhq/bifrost

Bifrost

构建永不宕机AI应用的最快方式

Bifrost是一款高性能AI网关，通过单一OpenAI兼容API统一访问12+ AI提供商（包括OpenAI、Anthropic、AWS Bedrock、Google Vertex等）。支持秒级部署、零配置启动，并提供自动故障转移、负载均衡、语义缓存及企业级特性。

快速开始

一分钟内从零基础到生产级AI网关。

步骤1：启动Bifrost网关

bash
# 使用Docker运行
docker run -p 8080:8080 maximhq/bifrost

步骤2：通过Web UI配置

bash
# 打开内置Web界面
open http://localhost:8080

步骤3：发起首次API调用

bash
curl -X POST http://localhost:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "openai/gpt-4o-mini",
    "messages": [{"role": "user", "content": "Hello, Bifrost!"}]
  }'

至此，您的AI网关已运行，包含用于可视化配置、实时监控和分析的Web界面。

完整设置指南：

• 网关设置 - HTTP API部署
• Go SDK设置 - 直接集成

核心功能

核心基础设施

• 统一接口 - 所有提供商的单一OpenAI兼容API
• 多提供商支持 - OpenAI、Anthropic、AWS Bedrock、Google Vertex、Azure、Cohere、Mistral、Ollama、Groq等
• 自动故障转移 - 提供商和模型间无缝切换，零停机时间
• 负载均衡 - 跨多个API密钥和提供商的智能请求分发

高级功能

• 模型上下文协议（MCP） - 使AI模型能够使用外部工具（文件系统、网络搜索、数据库）
• 语义缓存 - 基于语义相似性的智能响应缓存，降低成本并减少延迟
• 多模态支持 - 支持文本、图像、音频和流传输，均通过统一接口
• 自定义插件 - 可扩展的中间件架构，用于分析、监控和自定义逻辑
• 治理 - 使用跟踪、速率限制和细粒度访问控制

企业与安全

• 预算管理 - 具有虚拟密钥、团队和客户预算的分层成本控制
• SSO集成 - Google和GitHub身份验证支持
• 可观测性 - 原生Prometheus指标、分布式追踪和全面日志记录
• Vault支持 - 与HashiCorp Vault集成的安全API密钥管理

开发者体验

• 零配置启动 - 动态提供商配置，立即开始使用
• 无缝替换 - 一行代码替换OpenAI/Anthropic/GenAI API
• SDK集成 - 对流行AI SDK的原生支持，无需代码更改
• 配置灵活性 - Web UI、API驱动或基于文件的配置选项

仓库结构

Bifrost采用模块化架构以实现最大灵活性：

text
bifrost/
├── npx/                 # 便于安装的NPX脚本
├── core/                # 核心功能和共享组件
│   ├── providers/       # 特定提供商实现（OpenAI、Anthropic等）
│   ├── schemas/         # Bifrost中使用的接口和结构体
│   └── bifrost.go       # Bifrost主要实现
├── framework/           # 数据持久化框架组件
│   ├── configstore/     # 配置存储
│   ├── logstore/        # 请求日志存储
│   └── vectorstore/     # 向量存储
├── transports/          # HTTP网关和其他接口层
│   └── bifrost-http/    # HTTP传输实现
├── ui/                  # HTTP网关的Web界面
├── plugins/             # 可扩展插件系统
│   ├── governance/      # 预算管理和访问控制
│   ├── jsonparser/      # JSON解析和操作工具
│   ├── logging/         # 请求日志和分析
│   ├── maxim/           # Maxim可观测性集成
│   ├── mocker/          # 测试和开发的模拟响应
│   ├── semanticcache/   # 智能响应缓存
│   └── telemetry/       # 监控和可观测性
├── docs/                # 文档和指南
└── tests/               # 全面测试套件

入门选项

选择适合您需求的部署方法：

1. 网关（HTTP API）

最适合： 语言无关集成、微服务和生产部署

bash
# Docker - 生产就绪
docker run -p 8080:8080 -v $(pwd)/data:/app/data maximhq/bifrost

特性： Web UI、实时监控、多提供商管理、零配置启动

了解更多： 网关设置指南

2. Go SDK

最适合： 直接Go集成，实现最高性能和控制

bash
go get github.com/maximhq/bifrost/core

特性： 原生Go API、嵌入式部署、自定义中间件集成

了解更多： Go SDK指南

3. 无缝替换

最适合： 零代码更改迁移现有应用

diff
# OpenAI SDK
- base_url = "https://api.openai.com"
+ base_url = "http://localhost:8080/openai"

# Anthropic SDK  
- base_url = "https://api.anthropic.com"
+ base_url = "http://localhost:8080/anthropic"

# Google GenAI SDK
- api_endpoint = "https://generativelanguage.googleapis.com"
+ api_endpoint = "http://localhost:8080/genai"

了解更多： 集成指南

性能

Bifrost几乎不会为AI请求增加额外开销。在持续5,000 RPS的基准测试中，网关仅增加11微秒的每请求开销。

关键性能亮点：

• 完美成功率 - 即使在5k RPS下也保持100%请求成功率
• 最小开销 - 每请求额外延迟不到15微秒
• 高效排队 - 亚微秒级平均等待时间
• 快速密钥选择 - 约10纳秒选择加权API密钥

完整基准测试： 性能分析

文档

完整文档： [***]

快速入门

• 网关设置 - 30秒内完成HTTP API部署
• Go SDK设置 - 直接Go集成
• 提供商配置 - 多提供商设置

功能

• 多提供商支持 - 所有提供商的单一API
• MCP集成 - 外部工具调用
• 语义缓存 - 智能响应缓存
• 故障转移与负载均衡 - 可靠性特性
• 预算管理 - 成本控制和治理

集成

• OpenAI SDK - 无缝替换OpenAI
• Anthropic SDK - 无缝替换Anthropic
• Google GenAI SDK - 无缝替换GenAI
• LiteLLM SDK - LiteLLM集成
• Langchain SDK - Langchain集成

企业

• 自定义插件 - 扩展功能
• 集群 - 多节点部署
• Vault支持 - 安全密钥管理
• 生产部署 - 扩展和监控

需要帮助？

加入*** 获取社区支持和讨论。

可获取帮助：

• 快速设置协助和故障排除
• 最佳实践和配置技巧
• 社区讨论和支持
• 集成实时帮助

贡献

我们欢迎各种形式的贡献！请参阅贡献指南了解：

• 开发环境设置
• 代码规范和最佳实践
• 如何提交拉取请求
• 本地构建和测试

有关开发要求和构建说明，请参阅开发设置指南。

许可证

本项目采用Apache 2.0许可证 - 详见LICENSE文件。

由https://github.com/maximhq%E5%BC%80%E5%8F%91 ❤️