🚅 LiteLLM

LiteLLM AI网关

支持100+ LLM的开源AI网关。可自托管。企业级就绪。以OpenAI格式调用任何LLM。

LiteLLM代理服务器（AI网关） | 托管代理 | 企业版 | 网站

什么是 LiteLLM

LiteLLM 是一个开源AI网关，为您提供单一、统一的接口，可使用OpenAI格式调用100+ LLM提供商——包括OpenAI、Anthropic、Gemini、Bedrock、Azure等。

您可以将其用作Python SDK进行直接库集成，或将AI网关（代理服务器） 部署为团队或组织的集中式服务。

跳转到 LiteLLM 代理（LLM网关）文档 跳转到支持的LLM提供商

为什么选择 LiteLLM

跨提供商管理LLM调用很快会变得复杂——每个模型都有不同的SDK、身份验证模式、请求格式和错误类型。LiteLLM消除了这种摩擦：

• 统一API —— 一个接口支持100+ LLM，无需处理特定于提供商的SDK
• 即插即用的OpenAI兼容性 —— 无需重写代码即可切换提供商
• 生产就绪的网关 —— 虚拟密钥、支出跟踪、安全护栏、负载均衡和开箱即用的管理仪表板
• 8ms P95延迟（在1k RPS下）(基准测试)

开源采用者

Netflix

功能

LLM - 调用100+ LLM（Python SDK + AI网关）

所有支持的端点 - /chat/completions、/responses、/embeddings、/images、/audio、/batches、/rerank、/a2a、/messages等。

Python SDK

uv add litellm

from litellm import completion
import os

os.environ["OPENAI_API_KEY"] = "your-openai-key"
os.environ["ANTHROPIC_API_KEY"] = "your-anthropic-key"

# OpenAI
response = completion(model="openai/gpt-4o", messages=[{"role": "user", "content": "Hello!"}])

# Anthropic
response = completion(model="anthropic/claude-sonnet-4-20250514", messages=[{"role": "user", "content": "Hello!"}])

AI网关（代理服务器）

快速开始 - 端到端教程 - 设置虚拟密钥，发出第一个请求

uv tool install 'litellm[proxy]'
litellm --model gpt-4o

import openai

client = openai.OpenAI(api_key="anything", base_url="http://0.0.0.0:4000")
response = client.chat.completions.create(
model="gpt-4o",
messages=[{"role": "user", "content": "Hello!"}]
)

文档：LLM提供商

企业版

适用于需要更优安全性、用户管理和专业支持的企业

[获取企业版许可 与创始人交流

企业版包含：

• ✅ LiteLLM 商业许可 包含的功能：
• ✅ 功能优先级支持
• ✅ 自定义集成
• ✅ 专业支持 - 专属 *** + Slack 频道
• ✅ 自定义服务等级协议（SLA）
• ✅ 单点登录（SSO）安全访问

贡献指南

我们欢迎对 LiteLLM 的贡献！无论是修复漏洞、添加功能还是改进文档，我们都感谢您的帮助。

贡献者快速入门

需要先安装 uv。

git clone https://github.com/BerriAI/litellm.git
cd litellm
make install-dev # 安装开发依赖
make format # 格式化代码
make lint # 运行所有代码检查
make test-unit # 运行单元测试
make format-check # 仅检查格式

详细贡献指南，请参见 CONTRIBUTING.md。

[!NOTE] 想要为文档做贡献？LiteLLM 文档已迁移至独立仓库：https://github.com/BerriAI/litellm-docs%E3%80%82%E8%AF%B7%E5%9C%A8%E8%AF%A5%E4%BB%93%E5%BA%93%E6%8F%90%E4%BA%A4%E6%96%87%E6%A1%A3%E7%9B%B8%E5%85%B3%E7%9A%84 PR。文档托管于 docs.litellm.ai。

代码质量 / 代码检查

LiteLLM 遵循 https://google.github.io/styleguide/pyguide.html%E3%80%82

我们的自动化检查包括：

• Black 代码格式化
• Ruff 代码检查与质量分析
• MyPy 类型检查
• 循环导入检测
• 导入安全性检查

所有检查必须通过后，您的 PR 才能被合并。

支持 / 与创始人交流

• 预约演示 👋
• 社区 *** 💭
• 社区 Slack 💭
• 我们的*** ✉️：*** / ***

贡献者