hugalafutro/model-hotel

Model Hotel

https://github.com/hugalafutro/model-hotel

多提供商AI网关

镜像概述

Model Hotel是一个多提供商AI网关，提供兼容OpenAI的统一API端点，可整合多个LLM服务。它支持模型自动发现、故障转移，且不存储任何提示数据，帮助用户简化LLM服务的管理和使用。

核心功能

• 模型自动发现：添加提供商后自动发现模型，也可按计划发现。
• 故障转移：基于共享模型名称自动形成故障转移组，当提供商故障时透明重试。
• 统一API：兼容OpenAI的API接口，支持聊天完成、语音转文本等多种功能。
• 安全加密：提供商密钥采用AES-256-GCM加密存储，虚拟密钥和管理员令牌使用SHA-256哈希。
• 多用户访问：支持多用户账户，分管理员和普通用户角色，可设置权限。

使用场景

• 企业需要整合多个LLM服务，统一管理和调用。
• 开发者需要一个兼容OpenAI API的网关，简化多LLM服务的接入。
• 需要高可用的AI服务，通过故障转移确保服务稳定性。

配置说明

快速启动

1. 克隆仓库：

bash
git clone https://github.com/hugalafutro/model-hotel.git
cd model-hotel

2. 设置环境变量：

bash
cp .env.example .env
nano .env  # 设置MASTER_KEY和POSTGRES_PASSWORD等密钥

3. 启动服务：

bash
docker compose -f docker-compose.yml -f compose.dev.yml up --build -d

4. 获取管理员令牌：

bash
docker compose -f docker-compose.yml -f compose.dev.yml logs app | grep "ADMIN_TOKEN="

5. 访问管理界面：打开http://localhost:8081，使用管理员令牌登录。

API示例

• 列出可用模型：

bash
curl http://localhost:8081/v1/models -H "Authorization: Bearer $VIRTUAL_KEY"

• 聊天完成：

bash
curl -X POST http://localhost:8081/v1/chat/completions \
  -H "Authorization: Bearer $VIRTUAL_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "hotel/glm-4.6", "messages": [{"role": "user", "content": "Hello!"}]}'

注意事项

• 生产环境建议使用预构建镜像，编辑docker-compose.yml注释build: .并取消注释image行。
• Docker socket默认禁用，仅在可信环境下为开发启用。
• 备份需确保MASTER_KEY一致，否则无法解密提供商密钥。

更多配置详情请参考https://github.com/hugalafutro/model-hotel/wiki。