🚅 LiteLLM

LiteLLM AI网关

支持100+ LLM的开源AI网关。可自托管。企业级就绪。以OpenAI格式调用任何LLM。

LiteLLM代理服务器（AI网关） | 托管代理 | 企业版 | 网站

---

什么是LiteLLM

LiteLLM是一个开源AI网关，为您提供单一、统一的接口，可使用OpenAI格式调用100+ LLM提供商——包括OpenAI、Anthropic、Gemini、Bedrock、Azure等。

您可以将其用作Python SDK进行直接库集成，或将AI网关（代理服务器） 部署为团队或组织的集中式服务。

跳转到LiteLLM代理（LLM网关）文档 跳转到支持的LLM提供商

---

为什么选择LiteLLM

跨提供商管理LLM调用很快会变得复杂——每个模型都有不同的SDK、身份验证模式、请求格式和错误类型。LiteLLM消除了这种摩擦：

• 统一API — 一个接口支持100+ LLM，无需处理特定于提供商的SDK
• 即插即用的OpenAI兼容性 — 无需重写代码即可切换提供商
• 生产就绪的网关 — 开箱即用地提供虚拟密钥、支出跟踪、安全护栏、负载均衡和管理仪表板
• 8ms P95延迟（在1k RPS下）（基准测试）

开源采用者

Netflix

---

功能

LLM - 调用100+ LLM（Python SDK + AI网关）

所有支持的端点 - /chat/completions、/responses、/embeddings、/images、/audio、/batches、/rerank、/a2a、/messages等。

Python SDK

uv add litellm

from litellm import completion
import os

os.environ["OPENAI_API_KEY"] = "your-openai-key"
os.environ["ANTHROPIC_API_KEY"] = "your-anthropic-key"

# OpenAI
response = completion(model="openai/gpt-4o", messages=[{"role": "user", "content": "Hello!"}])

# Anthropic
response = completion(model="anthropic/claude-sonnet-4-20250514", messages=[{"role": "user", "content": "Hello!"}])

AI网关（代理服务器）

快速开始 - 端到端教程 - 设置虚拟密钥，发出第一个请求

uv tool install 'litellm[proxy]'
litellm --model gpt-4o

import openai

client = openai.OpenAI(api_key="anything", base_url="http://0.0.0.0:4000")
response = client.chat.completions.create(
model="gpt-4o",
messages=[{"role": "user", "content": "Hello!"}]
)

文档：LLM提供商

代理 - 调用A2A代理（Python SDK + AI网关）

支持的提供商 - LangGraph、Vertex AI Agent Engine、Azure AI Foundry、Bedrock AgentCore、Pydantic AI

Python SDK - A2A协议

from litellm.a2a_protocol import A2AClient
from a2a.types import SendMessageRequest, MessageSendParams
from uuid import uuid4

client = A2AClient(base_url="http://localhost:10001")

request = SendMessageRequest(
id=str(uuid4()),
params=MessageSendParams(
message={
"role": "user",
"parts": [{"kind": "text", "text": "Hello!"}],
"messageId": uuid4().hex,
}
)
)
response = await client.send_message(request)

AI网关（代理服务器）

步骤1. 将您的代理添加到AI网关

步骤2. 通过A2A SDK调用代理

from a2a.client import A2ACardResolver, A2AClient
from a2a.types import MessageSendParams, SendMessageRequest
from uuid import uuid4
import httpx

base_url = "http://localhost:4000/a2a/my-agent" # LiteLLM代理 + 代理名称
headers = {"Authorization": "Bearer sk-1234"} # LiteLLM虚拟密钥

async with httpx.AsyncClient(headers=headers) as httpx_client:
resolver = A2ACardResolver(httpx_client=httpx_client, base_url=base_url)
agent_card = await resolver.get_agent_card()
client = A2AClient(httpx_client=httpx_client, agent_card=agent_card)

request = SendMessageRequest(
id=str(uuid4()),
params=MessageSendParams(
message={
"role": "user",
"parts": [{"kind": "text", "text": "Hello!"}],
"messageId": uuid4().hex,
}
)
)
response = await client.send_message(request)

文档：A2A代理网关

MCP工具 - 将MCP服务器连接到任何LLM（Python SDK + AI网关）

Python SDK - MCP桥接

from mcp import ClientSession, StdioServerParameters
from mcp.client.stdio import stdio_client
from litellm import experimental_mcp_client
import litellm

server_params = StdioServerParameters(command="python", args=["mcp_server.py"])

async with stdio_client(server_params) as (read, write):
async with ClientSession(read, write) as session:
await session.initialize()

# 以OpenAI格式加载MCP工具
tools = await experimental_mcp_client.load_mcp_tools(session=session, format="openai")

# 与任何LiteLLM模型配合使用
response = await litellm.acompletion(
model="gpt-4o",
messages=[{"role": "user", "content": "What's 3 + 5?"}],
tools=tools
)

AI网关 - MCP网关

步骤1. 将您的MCP服务器添加到AI网关

步骤2. 通过/chat/completions调用MCP工具

curl -X POST 'http://0.0.0.0:4000/v1/chat/completions' \
-H 'Authorization: Bearer sk-1234' \
-H 'Content-Type: application/json' \
-d '{
"model": "gpt-4o",
"messages": [{"role": "user", "content": "Summarize the latest open PR"}],
"tools": [{
"type": "mcp",
"server_url": "litellm_proxy/mcp/github",
"server_label": "github_mcp",
"require_approval": "never"
}]
}'

与Cursor IDE配合使用

{
"mcpServers": {
"LiteLLM": {
"url": "http://localhost:4000/mcp/",
"headers": {
"x-litellm-api-key": "Bearer sk-1234"
}
}
}
}

文档：MCP网关

支持的提供商（网站支持的模型 | 文档）

贡献

我们欢迎对LiteLLM的贡献！无论您是修复错误、添加功能还是改进文档，我们都感谢您的帮助。

贡献者快速入门

这需要安装uv。

git clone https://github.com/BerriAI/litellm.git
cd litellm
make install-dev # 安装开发依赖
make format # 格式化代码
make lint # 运行所有lint检查
make test-unit # 运行单元测试
make format-check # 仅检查格式

有关详细的贡献指南，请参见CONTRIBUTING.md。

[!NOTE] 想要贡献文档？LiteLLM文档已迁移到单独的仓库：https://github.com/BerriAI/litellm-docs%E3%80%82%E8%AF%B7%E5%9C%A8%E8%AF%A5%E4%BB%93%E5%BA%93%E6%8F%90%E4%BA%A4%E6%96%87%E6%A1%A3PR%E3%80%82%E6%96%87%E6%A1%A3%E6%89%98%E7%AE%A1%E4%BA%8Edocs.litellm.ai%E3%80%82

代码质量 / Linting

LiteLLM遵循https://google.github.io/styleguide/pyguide.html%E3%80%82

我们的自动化检查包括：

• Black 用于代码格式化
• Ruff 用于代码linting和质量检查
• MyPy 用于类型检查
• 循环导入检测
• 导入安全检查

在您的PR被合并之前，所有这些检查都必须通过。

支持 / 与创始人交流

• 预约演示 👋
• 社区*** 💭
• 社区Slack 💭
• 我们的*** ✉️ 是 *** / ***

贡献者