ghcr.io/algorithmicsuperintelligence/optillm:latest

OptiLLM

🚀 零训练情况下推理任务准确率提升 2-10 倍

🤗 HuggingFace Space • 📓 Colab 演示 • 💬 讨论区

---

OptiLLM 是一款兼容 OpenAI API 的优化推理代理，它实现了 20 多种最先进的技术，可显著提升 LLM 在推理任务上的准确率和性能——无需任何模型训练或微调。

通过在推理时进行额外计算，使用这些技术可以在各种任务上超越前沿模型。Cerebras 提出的 CePO 方法 就是一个很好的示例，展示了如何将这些技术组合使用。

✨ 核心特性

• 🎯 即时提升：数学、编码和逻辑推理任务准确率提升 2-10 倍
• 🔌 即插即用替代：兼容任何 OpenAI 兼容的 API 端点
• 🧠 20 多种优化技术：从简单的 best-of-N 到高级的 MCTS 和规划
• 📦 无需训练：只需通过 OptiLLM 代理您现有的 API 调用
• ⚡ 生产就绪：已被全球多家公司和研究人员用于生产环境
• 🌍 多提供商支持：通过 LiteLLM 支持 OpenAI、Anthropic、Google、Cerebras 以及 100 多种模型

🚀 快速开始

通过 3 个简单步骤获得强大的推理能力提升：

# 1. 安装 OptiLLM
pip install optillm

# 2. 启动服务器
export OPENAI_API_KEY="your-key-here"
optillm

# 3. 与任何 OpenAI 客户端配合使用 - 只需更改模型名称！

from openai import OpenAI

client = OpenAI(base_url="http://localhost:8000/v1")

# 添加 'moa-' 前缀启用 Mixture of Agents 优化
response = client.chat.completions.create(
model="moa-gpt-4o-mini", # 这能让 GPT-4o-mini 达到 GPT-4o 的性能！
messages=[{"role": "user", "content": "求解：若 2x + 3 = 7，x 的值是多少？"}]
)

使用 OptiLLM 前："x = 1" ❌
使用 OptiLLM 后："让我逐步解答：2x + 3 = 7，因此 2x = 4，所以 x = 2" ✅

📊 验证结果

OptiLLM 在各种基准测试中均实现了可衡量的提升：

完整基准测试结果见 下方 ⬇️

🏗️ 安装

使用 pip

pip install optillm
optillm
2024-10-22 07:45:05,612 - INFO - Loaded plugin: privacy
2024-10-22 07:45:06,293 - INFO - Loaded plugin: memory
2024-10-22 07:45:06,293 - INFO - Starting server with approach: auto

使用 Docker

docker pull ghcr.io/algorithmicsuperintelligence/optillm:latest
docker run -p 8000:8000 ghcr.io/algorithmicsuperintelligence/optillm:latest
2024-10-22 07:45:05,612 - INFO - Loaded plugin: privacy
2024-10-22 07:45:06,293 - INFO - Loaded plugin: memory
2024-10-22 07:45:06,293 - INFO - Starting server with approach: auto

可用的 Docker 镜像变体：

• 完整镜像（latest）：包含本地推理和插件的所有依赖
• 仅代理（latest-proxy）：轻量级镜像，无本地推理能力
• 离线版（latest-offline）：独立镜像，包含预下载模型（spaCy），支持完全离线运行

# 仅代理（最小）
docker pull ghcr.io/algorithmicsuperintelligence/optillm:latest-proxy

# 离线版（最大，包含预下载模型）
docker pull ghcr.io/algorithmicsuperintelligence/optillm:latest-offline

从源码安装

使用 git 克隆仓库，并通过 pip install 安装依赖。

git clone https://github.com/algorithmicsuperintelligence/optillm.git
cd optillm
python3 -m venv .venv
source .venv/bin/activate
pip install -r requirements.txt

🔒 SSL 配置

OptiLLM 支持 SSL 证书验证配置，可用于自签名证书或企业代理环境。

禁用 SSL 验证（仅开发环境）：

# 命令行
optillm --no-ssl-verify

# 环境变量
export OPTILLM_SSL_VERIFY=false
optillm

使用自定义 CA 证书：

# 命令行
optillm --ssl-cert-path /path/to/ca-bundle.crt

# 环境变量
export OPTILLM_SSL_CERT_PATH=/path/to/ca-bundle.crt
optillm

[!WARNING] 禁用 SSL 验证不安全，仅应在开发环境中使用。对于具有自定义 CA 的生产环境，请改用 --ssl-cert-path。详见 SSL_CONFIGURATION.md。

已实现技术

已实现的插件

本地推理服务器

我们支持在optillm中直接加载任何HuggingFace模型或LoRA。要使用内置推理服务器，请将OPTILLM_API_KEY设置为任意值（例如export OPTILLM_API_KEY="optillm"），然后在OpenAI客户端中使用相同的值。您可以在model字段中传入任何HuggingFace模型。如果是私有模型，请确保将HF_TOKEN环境变量设置为您的HuggingFace密钥。我们还支持通过+分隔符在模型之上添加任意数量的LoRA。

例如，以下代码加载基础模型meta-llama/Llama-3.2-1B-Instruct，然后在其之上添加两个LoRA——patched-codes/Llama-3.2-1B-FixVulns和patched-codes/Llama-3.2-1B-FastApply。您可以通过OpenAI SDK客户端的extra_body字段中的active_adapter参数指定要使用的LoRA。默认情况下，我们将加载最后指定的适配器。

OPENAI_BASE_URL = "http://localhost:8000/v1"
OPENAI_KEY = "optillm"
response = client.chat.completions.create(
model="meta-llama/Llama-3.2-1B-Instruct+patched-codes/Llama-3.2-1B-FastApply+patched-codes/Llama-3.2-1B-FixVulns",
messages=messages,
temperature=0.2,
logprobs = True,
top_logprobs = 3,
extra_body={"active_adapter": "patched-codes/Llama-3.2-1B-FastApply"},
)

您还可以直接在本地推理服务器上使用替代解码技术，如cot_decoding和entropy_decoding。

MCP 插件

模型上下文协议（MCP）插件使 OptiLLM 能够连接 MCP 服务器，将外部工具、资源和提示引入语言模型的上下文中。这支持与文件系统访问、数据库查询、API 连接等进行强大集成。

OptiLLM 通过多种传输方式支持本地和远程 MCP 服务器：

• stdio：本地服务器（传统方式）
• SSE：通过服务器发送事件（Server-Sent Events）的远程服务器
• WebSocket：通过 WebSocket 连接的远程服务器

什么是 MCP？

模型上下文协议（MCP）是一种开放协议标准，允许 LLM 通过标准化接口安全访问工具和数据源。MCP 服务器可提供：

• 工具：可调用的执行操作的函数（如写入文件、查询数据库等）
• 资源：提供上下文的数据源（如文件内容）
• 提示：特定用例的可重用提示模板

配置

设置 MCP 配置

[!NOTE] 关于向后兼容性：现有 MCP 配置将继续正常工作，无需更改。未指定 transport 字段时，默认值为 "stdio"，与现有设置保持完全向后兼容。

1. 在 ~/.optillm/mcp_config.json 创建配置文件，结构如下：

本地服务器（stdio）- 传统方式：

{
"mcpServers": {
"filesystem": {
"transport": "stdio",
"command": "npx",
"args": [
"-y",
"@modelcontextprotocol/server-filesystem",
"/path/to/allowed/directory1",
"/path/to/allowed/directory2"
],
"env": {},
"description": "Local filesystem access"
}
},
"log_level": "INFO"
}

旧版格式（仍可使用）：

{
"mcpServers": {
"filesystem": {
"command": "npx",
"args": ["-y", "@modelcontextprotocol/server-filesystem", "/path/to/directory"],
"env": {}
}
}
}

远程服务器（SSE）- 新功能：

{
"mcpServers": {
"github": {
"transport": "sse",
"url": "https://api.githubcopilot.com/mcp",
"headers": {
"Authorization": "Bearer ${GITHUB_TOKEN}",
"Accept": "text/event-stream"
},
"timeout": 30.0,
"sse_read_timeout": 300.0,
"description": "GitHub MCP server for repository access"
}
},
"log_level": "INFO"
}

远程服务器（WebSocket）- 新功能：

{
"mcpServers": {
"remote-ws": {
"transport": "websocket",
"url": "wss://api.example.com/mcp",
"description": "Remote WebSocket MCP server"
}
},
"log_level": "INFO"
}

混合配置（本地 + 远程）：

{
"mcpServers": {
"filesystem": {
"transport": "stdio",
"command": "npx",
"args": ["-y", "@modelcontextprotocol/server-filesystem", "/home/user/docs"],
"description": "Local filesystem access"
},
"github": {
"transport": "sse",
"url": "https://api.githubcopilot.com/mcp",
"headers": {
"Authorization": "Bearer ${GITHUB_TOKEN}"
},
"description": "GitHub MCP server"
},
"remote-api": {
"transport": "websocket",
"url": "wss://api.company.com/mcp",
"description": "Company internal MCP server"
}
},
"log_level": "INFO"
}

配置参数

通用参数：

• 服务器名称：服务器的唯一标识符（例如 "filesystem"、"github"）
• transport：传输方式 - "stdio"（默认）、"sse" 或 "websocket"
• description（可选）：服务器功能的描述
• timeout（可选）：连接超时时间（秒）（默认：5.0）

stdio 传输（本地服务器）：

• command：运行服务器的可执行文件
• args：服务器的命令行参数
• env：服务器进程的环境变量

sse 传输（服务器发送事件）：

• url：SSE 端点 URL
• headers（可选）：用于身份验证的 HTTP 头
• sse_read_timeout（可选）：SSE 读取超时时间（秒）（默认：300.0）

websocket 传输（WebSocket）：

• url：WebSocket 端点 URL

环境变量扩展： 头信息和其他字符串值支持使用 ${VARIABLE_NAME} 语法进行环境变量扩展。这对于 API 密钥尤其有用：

{
"headers": {
"Authorization": "Bearer ${GITHUB_TOKEN}",
"X-API-Key": "${MY_API_KEY}"
}
}

可用的 MCP 服务器

OptiLLM 支持本地和远程 MCP 服务器：

本地 MCP 服务器（stdio 传输）

您可以使用任何官方 MCP 服务器或作为本地进程运行的第三方服务器：

• 文件系统：@modelcontextprotocol/server-filesystem - 文件操作
• Git：mcp-server-git - Git 仓库操作
• SQLite：@modelcontextprotocol/server-sqlite - SQLite 数据库访问
• Brave 搜索：@modelcontextprotocol/server-brave-search - 网络搜索功能

远程 MCP 服务器（SSE/WebSocket 传输）

远程服务器提供集中式访问，无需本地安装：

• GitHub MCP 服务器：https://api.githubcopilot.com/mcp - 仓库管理、问题跟踪和代码分析
• 第三方服务器：任何支持 SSE 或 WebSocket 协议的 MCP 服务器

示例：综合配置

{
"mcpServers": {
"filesystem": {
"transport": "stdio",
"command": "npx",
"args": ["-y", "@modelcontextprotocol/server-filesystem", "/home/user/documents"],
"description": "Local file system access"
},
"search": {
"transport": "stdio",
"command": "npx",
"args": ["-y", "@modelcontextprotocol/server-brave-search"],
"env": {
"BRAVE_API_KEY": "your-api-key-here"
},
"description": "Web search capabilities"
},
"github": {
"transport": "sse",
"url": "https://api.githubcopilot.com/mcp",
"headers": {
"Authorization": "Bearer ${GITHUB_TOKEN}",
"Accept": "text/event-stream"
},
"description": "GitHub repository and issue management"
}
},
"log_level": "INFO"
}

使用 Docker 运行

optillm 可以选择使用 Docker 和提供的 https://github.com/algorithmicsuperintelligence/optillm/blob/main/Dockerfile 进行构建和运行。

使用 Docker Compose

1. 确保您的系统上已安装 Docker 和 Docker Compose。

单元测试与集成测试