paularlott/llmrouter

LLM Router 镜像说明

镜像概述

LLM Router是一个统一网关镜像，可将多个LLM（大语言模型）提供商聚合到单一端点。客户端可使用OpenAI或Anthropic Messages等偏好协议，网关会自动处理路由、协议转换和负载均衡，简化多LLM服务的调用流程。

核心功能

• 多提供商聚合：整合OpenAI、Anthropic等多个LLM服务提供商到同一入口。
• 协议转换：支持客户端用OpenAI或Anthropic Messages协议访问任意聚合的LLM服务。
• 智能路由（可选）：根据请求特征或配置自动选择最优LLM提供商。
• 负载均衡：对多LLM服务节点分配负载，提升服务稳定性。

使用场景

• 企业统一LLM服务入口，简化内部团队调用不同LLM的流程。
• 开发人员快速切换或同时使用多个LLM提供商，无需修改客户端代码。
• 降低单一LLM服务故障导致的业务中断风险。

配置说明

需通过环境变量或配置文件设置LLM提供商的API密钥、路由规则等参数（具体配置请参考镜像官方文档）。

部署示例

Docker Run命令

bash
docker run -d \
  -p 8080:8080 \
  -e OPENAI_API_KEY="your_openai_api_key" \
  -e ANTHROPIC_API_KEY="your_anthropic_api_key" \
  docker.xuanyuan.run/paularlott/llmrouter

访问方式

通过http://localhost:8080端点，使用OpenAI或Anthropic协议发送请求即可调用对应的LLM服务。