提供统一OpenAI格式接口,支持调用100+ LLMs(包括Bedrock、Azure、OpenAI等),解决多模型接入与管理的复杂性问题。
支持/chat/completions、/embeddings、/images等多端点;兼容100+ LLM提供商;8ms P95 latency的低延迟性能(1k RPS下);提供Python SDK与Proxy Server(AI Gateway)双接入方式。
基于Python构建,集成Python SDK与Proxy Server(AI Gateway),支持REST接口及A2A、MCP协议,实现多LLM统一管理与调用。
适用于企业级AI应用开发、多LLM模型集成场景,满足低延迟高并发需求,支持Cursor IDE等开发工具集成。
请登录使用轩辕镜像享受快速拉取体验,支持国内访问优化,速度提升
docker pull ghcr.io/berriai/litellm-database:main-v1.81.14-nightlymanifest unknown 错误
TLS 证书验证失败
DNS 解析超时
410 错误:版本过低
402 错误:流量耗尽
身份认证失败错误
429 限流错误
凭证保存错误
来自真实用户的反馈,见证轩辕镜像的优质服务