ghcr.io/berriai/litellm-non_root:main-v1.83.10-stable.patch.1

🚅 LiteLLM

LiteLLM AI 网关

支持 100+ 大语言模型的开源 AI 网关。可自托管，企业级就绪。以 OpenAI 格式调用任何 LLM。

LiteLLM Proxy Server (AI Gateway) | Hosted Proxy | Enterprise Tier | Website

---

什么是 LiteLLM

LiteLLM 是一个开源 AI 网关，为您提供单一、统一的接口，可使用 OpenAI 格式调用 100+ LLM 提供商——包括 OpenAI、Anthropic、Gemini、Bedrock、Azure 等。

您可以将其用作 Python SDK 进行直接库集成，或将 AI 网关（代理服务器） 部署为团队或组织的集中式服务。

跳转到 LiteLLM 代理（LLM 网关）文档 跳转到支持的 LLM 提供商

---

为什么选择 LiteLLM

跨提供商管理 LLM 调用很快会变得复杂——每个模型都有不同的 SDK、身份验证模式、请求格式和错误类型。LiteLLM 消除了这种摩擦：

• 统一 API —— 一个接口支持 100+ LLM，无需处理特定于提供商的 SDK
• 即插即用的 OpenAI 兼容性 —— 无需重写代码即可切换提供商
• 生产就绪的网关 —— 虚拟密钥、支出跟踪、安全护栏、负载均衡和开箱即用的管理仪表板
• 8ms P95 延迟（在 1k RPS 下）(基准测试)

开源采用者

Netflix

---

功能

LLM - 调用 100+ LLM（Python SDK + AI 网关）

所有支持的端点 - /chat/completions、/responses、/embeddings、/images、/audio、/batches、/rerank、/a2a、/messages 等。

Python SDK

uv add litellm

from litellm import completion
import os

os.environ["OPENAI_API_KEY"] = "your-openai-key"
os.environ["ANTHROPIC_API_KEY"] = "your-anthropic-key"

# OpenAI
response = completion(model="openai/gpt-4o", messages=[{"role": "user", "content": "Hello!"}])

# Anthropic
response = completion(model="anthropic/claude-sonnet-4-20250514", messages=[{"role": "user", "content": "Hello!"}])

AI 网关（代理服务器）

快速入门 - 端到端教程 - 设置虚拟密钥，发起首次请求

uv tool install 'litellm[proxy]'
litellm --model gpt-4o

import openai

client = openai.OpenAI(api_key="anything", base_url="http://0.0.0.0:4000")
response = client.chat.completions.create(
model="gpt-4o",
messages=[{"role": "user", "content": "Hello!"}]
)

文档：LLM 提供商

贡献

我们欢迎对LiteLLM的贡献！无论是修复错误、添加功能还是改进文档，我们都感谢您的帮助。

贡献者快速入门

这需要安装uv。

git clone https://github.com/BerriAI/litellm.git
cd litellm
make install-dev # 安装开发依赖
make format # 格式化代码
make lint # 运行所有linting检查
make test-unit # 运行单元测试
make format-check # 仅检查格式

有关详细的贡献指南，请参见CONTRIBUTING.md。

[!NOTE] 📖 想要为文档做贡献？LiteLLM文档已迁移到单独的仓库：https://github.com/BerriAI/litellm-docs%E3%80%82%E8%AF%B7%E5%9C%A8%E8%AF%A5%E4%BB%93%E5%BA%93%E6%8F%90%E4%BA%A4%E6%96%87%E6%A1%A3PR%E3%80%82%E6%96%87%E6%A1%A3%E6%89%98%E7%AE%A1%E4%BA%8Edocs.litellm.ai%E3%80%82

代码质量 / Linting

LiteLLM遵循https://google.github.io/styleguide/pyguide.html%E3%80%82

我们的自动化检查包括：

• Black 用于代码格式化
• Ruff 用于代码linting和质量检查
• MyPy 用于类型检查
• 循环导入检测
• 导入安全性检查

在您的PR被合并之前，所有这些检查都必须通过。

支持 / 联系创始人

• 预约演示 👋
• 社区*** 💭
• 社区Slack 💭
• 我们的*** ✉️ 是 *** / ***

贡献者