speglich/litellm Docker 镜像 - 轩辕镜像 | Docker 镜像高效稳定拉取服务

OCI生成式AI支持的定制版LiteLLM镜像

镜像概述

该镜像为LiteLLM的定制分支，专门内置了对OCI（Oracle Cloud Infrastructure）生成式AI服务的支持。它继承了LiteLLM统一不同大语言模型API接口的核心能力，同时简化了与OCI生成式AI服务的集成流程，适用于需要快速对接OCI AI服务的开发与部署场景。

核心功能与特性

• 统一API接口：继承LiteLLM的核心优势，提供标准化接口，简化不同LLM服务的调用逻辑
• OCI生成式AI原生支持：内置OCI生成式AI服务适配层，无需额外开发即可对接OCI AI模型
• 轻量化部署：基于LiteLLM的轻量级架构，资源占用低，部署便捷
• 兼容性保障：保持与LiteLLM生态工具链的兼容性，支持现有LiteLLM配置与扩展

使用场景

• 构建支持OCI生成式AI的统一LLM API服务
• 开发需要集成OCI AI能力的应用程序
• 快速部署多模型支持的AI推理服务，包含OCI生成式AI选项
• 迁移现有LiteLLMm应用以支持OCIOCI云环境端AIAI能力

使用方法与配置说明

基本部署署

通过Docker命令令快速启动服务：

bash
docker run -d -p 8000:8000 [镜像名称]:[版本标签]

环境变量配置

完整部署示例

配置OCI凭证并启动动服务：

bash
docker run -d -p 8000:8000 \
  -e OCI_API_KEY="your-oci-api-key" \
  -e OCI_REGION="us-ashburn-1" \
  -e LOG_LEVEL="debug" \
  [镜像名称]:latest

验证服务

服务启动后，可通过以下命令验证OCI生成式AI连接：

bash
curl http://localhost:8000/health

返回状态为healthy表示服务正常运行。