fish1024/litellm

镜像概述

本镜像为litellm 1.82.0版本的分支版本，在保留原版本核心功能的基础上，针对dashscope服务的cache_control功能进行了修复，解决了相关缓存控制问题，确保在使用dashscope时缓存控制逻辑正常运行。

核心功能与特性

• 基于litellm 1.82.0：继承原版本的所有核心功能，包括LLM API统一调用、多模型支持、请求处理等
• dashscope cache_control修复：专门修复了dashscope服务中cache_control相关的功能问题，确保缓存控制逻辑正确执行

使用场景与适用范围

适用于需要通过litellm集成LLM服务，且使用dashscope服务并遇到cache_control相关问题的开发者或企业。尤其适合对缓存控制有严格要求的场景，如需要精确控制API请求缓存行为的应用。

使用方法与配置说明

拉取镜像

bash
docker pull docker.xuanyuan.run/[镜像名称]:[标签]

运行容器

基本运行命令：

bash
docker run -d --name litellm-fixed [镜像名称]:[标签]

配置参数

由于本镜像主要为修复特定问题，基本配置与litellm 1.82.0一致。可通过环境变量或配置文件进行参数设置，具体可参考litellm官方文档。

注意：使用dashscope服务时，相关cache_control配置将自动应用修复后的逻辑，无需额外配置。