热门搜索:
speglich/litellm
speglich
一个定制版的LiteLLM分支，内置支持OCI生成式AI。
下载次数: 0状态：社区镜像维护者：speglich仓库类型：镜像最近更新：7 个月前
OCI生成式AI支持的定制版LiteLLM镜像
镜像概述
该镜像为LiteLLM的定制分支，专门内置了对OCI（Oracle Cloud Infrastructure）生成式AI服务的支持。它继承了LiteLLM统一不同大语言模型API接口的核心能力，同时简化了与OCI生成式AI服务的集成流程，适用于需要快速对接OCI AI服务的开发与部署场景。
核心功能与特性
- 统一API接口：继承LiteLLM的核心优势，提供标准化接口，简化不同LLM服务的调用逻辑
- OCI生成式AI原生支持：内置OCI生成式AI服务适配层，无需额外开发即可对接OCI AI模型
- 轻量化部署：基于LiteLLM的轻量级架构，资源占用低，部署便捷
- 兼容性保障：保持与LiteLLM生态工具链的兼容性，支持现有LiteLLM配置与扩展
使用场景
- 构建支持OCI生成式AI的统一LLM API服务
- 开发需要集成OCI AI能力的应用程序
- 快速部署多模型支持的AI推理服务，包含OCI生成式AI选项
- 迁移现有LiteLLMm应用以支持OCIOCI云环境端AIAI能力
使用方法与配置说明
基本部署署
通过Docker命令令快速启动服务：
bashdocker run -d -p 8000:8000 [镜像名称]:[版本标签]
环境变量配置
| 环境变量 | 说明 | 默认值值 |
|---|---|---|
OCI_APIPI_KEY | OOCII API 访问密钥，用于需 | 必填 |
OCI_REGION | OI服务区域（如us-ashburn-11 | 必填 |
PORT | 服务监听端口 | 8000 |
LOG_LEVEL | 日志级别度，支持选值：DEBUGDEBUG/info/warn/ | info |
完整部署示例
配置OCI凭证并启动动服务：
bashdocker run -d -p 8000:8000 \ -e OCI_API_KEY="your-oci-api-key" \ -e OCI_REGION="us-ashburn-1" \ -e LOG_LEVEL="debug" \ [镜像名称]:latest
验证服务
服务启动后，可通过以下命令验证OCI生成式AI连接：
bashcurl http://localhost:8000/health
返回状态为healthy表示服务正常运行。
更多相关 Docker 镜像与资源
以下是 speglich/litellm 相关的常用 Docker 镜像，适用于 不同场景 等不同场景：
- langgenius/dify-api Docker 镜像说明（AI 应用开发框架）
镜像拉取方式
您可以使用以下命令拉取该镜像。请将 <标签> 替换为具体的标签版本。如需查看所有可用标签版本，请访问 标签列表页面。
DockerHub 原生拉取命令
docker pull speglich/litellm:<标签>
更多 litellm 镜像推荐
litellm/litellm
litellm
Proxy Server to Call all LLM APIs using the OpenAI format. Bedrock, Azure, OpenAI (100+ LLMs)
18 次收藏50万+ 次下载
14 天前更新
litellm/litellm-database
litellm
LiteLLM Proxy Image with Key Generation (PostgreSQL DB)
2 次收藏10万+ 次下载
14 天前更新
litellm/litellm-non_root
litellm
暂无描述
5万+ 次下载
14 天前更新
litellm/litellm-spend_logs
litellm
暂无描述
1万+ 次下载
1 个月前更新
litellm/ollama
litellm
An OpenAI API compatible server for local LLMs - llama2, mistral, codellama
14 次收藏6.7千+ 次下载
2 年前更新
litellm/litellm-ui
litellm
暂无描述
1 次收藏1千+ 次下载
2 年前更新
轩辕镜像配置手册
探索更多轩辕镜像的使用方法，找到最适合您系统的配置方式
Docker 配置
登录仓库拉取
通过 Docker 登录认证访问私有仓库
专属域名拉取
无需登录使用专属域名
K8s Containerd
Kubernetes 集群配置 Containerd
K3s
K3s 轻量级 Kubernetes 镜像加速
Dev Containers
VS Code Dev Containers 配置
Podman
Podman 容器引擎配置
Singularity/Apptainer
HPC 科学计算容器配置
其他仓库配置
ghcr、Quay、nvcr 等镜像仓库
Harbor 镜像源配置
Harbor Proxy Repository 对接专属域名
Portainer 镜像源配置
Portainer Registries 加速拉取
Nexus 镜像源配置
Nexus3 Docker Proxy 内网缓存
系统配置
需要其他帮助？请查看我们的 常见问题Docker 镜像访问常见问题解答 或 提交工单
镜像拉取常见问题
使用与功能问题
配置了专属域名后，docker search 为什么会报错？
docker search 限制
Docker Hub 上有的镜像，为什么在轩辕镜像网站搜不到？
站内搜不到镜像
机器不能直连外网时，怎么用 docker save / load 迁镜像？
离线 save/load
docker pull 拉插件报错（plugin v1+json）怎么办？
插件要用 plugin install
WSL 里 Docker 拉镜像特别慢，怎么排查和优化？
WSL 拉取慢
轩辕镜像安全吗？如何用 digest 校验镜像没被篡改？
安全与 digest
第一次用轩辕镜像拉 Docker 镜像，要怎么登录和配置？
新手拉取配置
轩辕镜像合规吗？轩辕镜像的合规是怎么做的？
镜像合规机制
错误码与失败问题
docker pull 提示 manifest unknown 怎么办？
manifest unknown
docker pull 提示 no matching manifest 怎么办？
no matching manifest（架构）
镜像已拉取完成，却提示 invalid tar header 或 failed to register layer 怎么办？
invalid tar header（解压）
Docker pull 时 HTTPS / TLS 证书验证失败怎么办？
TLS 证书失败
Docker pull 时 DNS 解析超时或连不上仓库怎么办？
DNS 超时
docker 无法连接轩辕镜像域名怎么办？
域名连通性排查
Docker 拉取出现 410 Gone 怎么办？
410 Gone 排查
出现 402 或「流量用尽」提示怎么办？
402 与流量用尽
Docker 拉取提示 UNAUTHORIZED（401）怎么办？
401 认证失败
遇到 429 Too Many Requests（请求太频繁）怎么办？
429 限流
docker login 提示 Cannot autolaunch D-Bus，还算登录成功吗？
D-Bus 凭证提示
为什么会出现「单层超过 20GB」或 413，无法加速拉取？
413 与超大单层
账号 / 计费 / 权限
用户好评
来自真实用户的反馈，见证轩辕镜像的优质服务
oldzhang
运维工程师
Linux服务器
5
"Docker访问体验非常流畅，大镜像也能快速完成下载。"