ghcr.io/comet-ml/opik/opik-backend:2.0.44-5415

English | 简体中文 | 日本語 | Português (Brasil) | 한국어 Español | Français | Deutsch | Русский | العربية | हिन्दी | Türkçe

Opik

开源 AI 可观测性、评估与优化平台

Opik 帮助你构建、测试和优化生成式 AI 应用，使其从原型到生产环境都能更高效地运行。无论是 RAG 聊天机器人、代码助手还是复杂的智能体系统，Opik 都能提供全面的追踪、评估以及自动提示词和工具优化功能，消除 AI 开发中的猜测工作。

网站 • Slack 社区 • *** • 更新日志 • 文档

🚀 什么是 Opik？ • 🛠️ Opik 服务器安装 • 💻 Opik 客户端 SDK • 📝 日志追踪 🧑‍⚖️ LLM 评判 • 🔍 应用评估 • ⭐ 给我们点赞 • 🤝 贡献代码

🚀 什么是 Opik？

Opik（由 Comet 开发）是一个开源平台，旨在简化 LLM 应用的整个生命周期。它使开发人员能够评估、测试、监控和优化其模型及智能体系统。主要功能包括：

• 全面可观测性：LLM 调用深度追踪、对话日志记录和智能体活动监控。
• 高级评估：强大的提示词评估、LLM 评判和实验管理。
• 生产就绪：可扩展的监控仪表板和生产环境在线评估规则。
• Opik Agent Optimizer：专用 SDK 和优化工具集，用于增强提示词和智能体。
• Opik Guardrails：帮助实施安全负责任 AI 实践的功能。

核心功能包括：

• 开发与追踪：

• 在开发和生产环境中跟踪所有 LLM 调用和追踪，并附带详细上下文（快速入门）。

• 广泛的第三方集成，便于观测：与不断增长的框架列表无缝集成，原生支持许多最大和最流行的框架（包括最新添加的 Google ADK、Autogen 和 Flowise AI）。（集成）

• 通过 Python SDK 或 UI 为追踪和跨度添加反馈评分注释。

• 在 Prompt Playground 中试验提示词和模型。

• 评估与测试：

• 使用 数据集 和 实验 自动化 LLM 应用评估。

• 通过我们的 PyTest 集成 将评估集成到 CI/CD 管道中。

• 生产监控与优化：

• 记录大量生产追踪：Opik 专为大规模设计（每天 4000 万+ 追踪）。

• 在 Opik 仪表板 中监控反馈评分、追踪计数和令牌使用情况随时间的变化。

• 利用 在线评估规则 和 LLM 评判指标识别生产问题。

• 借助 Opik Agent Optimizer 和 Opik Guardrails 持续改进和保护生产环境中的 LLM 应用。

[!TIP] 如果你正在寻找 Opik 目前尚未提供的功能，请提交新的 https://github.com/comet-ml/opik/issues/new/choose 🚀

🛠️ Opik 服务器安装

几分钟内即可启动 Opik 服务器。选择最适合你的选项：

选项 1：Comet.com 云服务（最简单且推荐）

无需任何设置即可立即使用 Opik。非常适合快速入门和无麻烦的维护。

👉 创建免费 Comet 账户

选项 2：自托管 Opik 以获得完全控制权

在你自己的环境中部署 Opik。可选择 Docker 用于本地设置，或 Kubernetes 用于可扩展性部署。

使用 Docker Compose 自托管（用于本地开发和测试）

这是运行本地 Opik 实例的最简单方法。注意新的 ./opik.sh 安装脚本：

Linux 或 Mac 环境：

# 克隆 Opik 仓库
git clone https://github.com/comet-ml/opik.git

# 进入仓库目录
cd opik

# 启动 Opik 平台
./opik.sh

Windows 环境：

# 克隆 Opik 仓库
git clone https://github.com/comet-ml/opik.git

# 进入仓库目录
cd opik

# 启动 Opik 平台
powershell -ExecutionPolicy ByPass -c ".\\opik.ps1"

开发服务配置文件

Opik 安装脚本现在支持针对不同开发场景的服务配置文件：

# 启动完整 Opik 套件（默认行为）
./opik.sh

# 仅启动基础设施服务（数据库、缓存等）
./opik.sh --infra

# 启动基础设施 + 后端服务
./opik.sh --backend

# 为任何配置文件启用 guardrails
./opik.sh --guardrails # 带 guardrails 的完整 Opik 套件
./opik.sh --backend --guardrails # 带 guardrails 的基础设施 + 后端

使用 --help 或 --info 选项排查问题。Dockerfile 现在确保容器以非 root 用户运行，以增强安全性。所有服务启动后，你可以在浏览器中访问 localhost:5173！有关详细说明，请参阅 本地部署指南。

使用 Kubernetes 和 Helm 自托管（用于可扩展部署）

对于生产环境或大规模自托管部署，可使用我们的Helm Chart在Kubernetes集群上安装Opik。点击徽章查看完整的使用Helm的Kubernetes安装指南。

[!IMPORTANT] 1.7.0版本变更：请查看https://github.com/comet-ml/opik/blob/main/CHANGELOG.md%E4%BA%86%E8%A7%A3%E9%87%8D%E8%A6%81%E6%9B%B4%E6%96%B0%E5%92%8C%E7%A0%B4%E5%9D%8F%E6%80%A7%E5%8F%98%E6%9B%B4%E3%80%82

💻 Opik 客户端 SDK

Opik提供一套客户端库和REST API，用于与Opik服务器交互。其中包括适用于Python、TypeScript和Ruby（通过OpenTelemetry）的SDK，可无缝集成到您的工作流中。有关详细的API和SDK参考，请参阅Opik客户端参考文档。

Python SDK 快速入门

开始使用Python SDK：

安装包：

# install using pip
pip install opik

# or install with uv
uv pip install opik

通过运行opik configure命令配置Python SDK，该命令会提示您输入Opik服务器地址（适用于自托管实例）或API密钥和工作区（适用于Comet.com）：

opik configure

[!TIP] 您也可以在Python代码中调用opik.configure(use_local=True)来配置SDK以在本地自托管安装上运行，或直接为Comet.com提供API密钥和工作区详情。有关更多配置选项，请参阅Python SDK文档。

现在您已准备好使用Python SDK开始记录追踪数据。

📝 使用集成记录追踪数据

记录追踪数据最简单的方法是使用我们的直接集成之一。Opik支持多种框架，包括最新添加的Google ADK、Autogen、AG2和Flowise AI

[!TIP] 如果您使用的框架未在上述列表中，请随时https://github.com/comet-ml/opik/issues%E6%88%96%E6%8F%90%E4%BA%A4%E5%8C%85%E5%90%AB%E9%9B%86%E6%88%90%E7%9A%84PR%E3%80%82

如果您未使用上述任何框架，也可以使用track函数装饰器来记录追踪：

import opik

opik.configure(use_local=True) # 本地运行

@opik.track
def my_llm_function(user_question: str) -> str:
# 您的LLM代码在此处

return "Hello"

[!TIP] track装饰器可以与我们的任何集成结合使用，也可用于追踪嵌套函数调用。

🧑‍⚖️ LLM 作为评判指标

Python Opik SDK 包含多种 LLM 作为评判指标，可帮助您评估 LLM 应用。有关更多信息，请参阅指标文档。

要使用这些指标，只需导入相关指标并使用score函数：

from opik.evaluation.metrics import Hallucination

metric = Hallucination()
score = metric.score(
input="What is the capital of France?",
output="Paris",
context=["France is a country in Europe."]
)
print(score)

Opik 还包含多种预构建的启发式指标，以及创建自定义指标的功能。有关更多信息，请参阅指标文档。

🔍 评估您的 LLM 应用

⭐ 在 GitHub 上为我们点赞

如果您觉得 Opik 有用，请考虑给我们点个赞！您的支持有助于我们发展社区并持续改进产品。

🤝 贡献指南

有多种方式可以为 Opik 做贡献：

• 提交https://github.com/comet-ml/opik/issues%E5%92%8Chttps://github.com/comet-ml/opik/issues
• 审阅文档并提交https://github.com/comet-ml/opik/pulls%E4%BB%A5%E6%94%B9%E8%BF%9B%E6%96%87%E6%A1%A3
• 发表关于 Opik 的演讲或文章，并告知我们
• 为https://github.com/comet-ml/opik/issues?q=is%3Aissue+is%3Aopen+label%3A%22enhancement%22%E6%8A%95%E7%A5%A8%E4%BB%A5%E8%A1%A8%E7%A4%BA%E6%94%AF%E6%8C%81

要了解有关如何为 Opik 做贡献的更多信息，请参阅我们的贡献指南。