zulfifazhar/litellm

LiteLLM Proxy

在CPU上使用vLLM提供OpenAI兼容LLM API的最小化设置，前端配备LiteLLM代理用于统一路由和SDK兼容性。vLLM暴露/v1/*端点以兼容OpenAI，LiteLLM通过api_base将调用转发到任何OpenAI兼容后端。

核心功能

• LiteLLM代理后统一的聊天和嵌入API入口点
• 只需切换base_url和密钥即可与标准OpenAI客户端配合使用
• 对小型模型和开发工作流友好的CPU支持

架构

客户端 ↔ LiteLLM代理（端口4000） ↔ vLLM后端

• vLLM聊天（如Qwen2.5-coder）运行在端口9000
• vLLM嵌入（如Qwen3-Embedding）运行在端口9001
• vLLM实现OpenAI聊天和补全API，LiteLLM路由到config.yaml中定义的OpenAI兼容上游服务

快速开始

bash
# 单独运行vLLM后端（此处未展示）

# 使用配置运行LiteLLM
docker run -it --rm -p 4000:4000 \
  -v $HOME/litellm/config.yaml:/app/config.yaml:ro \
  --add-host=host.docker.internal:host-gateway \
  zulfifazhar/litellm:local \
  --config /app/config.yaml --host 0.0.0.0 --port 4000

LiteLLM从config.yaml读取模型路由，并转发到api_base指定的OpenAI兼容服务器。

config.yaml示例配置：

yaml
general_settings:
  master_key: sk-local-test

model_list:
  - model_name: Qwen/Qwen2.5-coder-1.5B-Instruct
    litellm_params:
      model: hosted_vllm/Qwen/Qwen2.5-coder-1.5B-Instruct
      api_base: http://host.docker.internal:9000/v1
  - model_name: Qwen/Qwen3-Embedding-0.6B
    litellm_params:
      model: hosted_vllm/Qwen/Qwen3-Embedding-0.6B
      api_base: http://host.docker.internal:9001/v1

LiteLLM支持使用api_base路由到OpenAI兼容上游服务，URL需包含/v1。

Docker Compose配置

yaml
version: "3.8"
services:
  litellm:
    image: zulfifazhar/litellm:local
    command: ["--config","/app/config.yaml","--host","0.0.0.0","--port","4000"]
    ports: ["4000:4000"]
    volumes:
      - /home/<username>/litellm/config.yaml:/app/config.yaml:ro
    extra_hosts:
      - "host.docker.internal:host-gateway"
    restart: unless-stopped

测试代理

bash
curl http://localhost:4000/v1/models

curl -s http://localhost:4000/v1/chat/completions \
  -H "Authorization: Bearer sk-local-test" -H "Content-Type: application/json" \
  -d '{"model":"Qwen/Qwen2.5-coder-1.5B-Instruct","messages":[{"role":"user","content":"ping"}]}'

curl -s http://localhost:4000/v1/embeddings \
  -H "Authorization: Bearer sk-local-test" -H "Content-Type: application/json" \
  -d '{"model":"Qwen/Qwen3-Embedding-0.6B","input":["雅加达是印度尼西亚的首都。"]}'

LiteLLM和vLLM的端点均与OpenAI兼容。