ghcr.io/comet-ml/opik/opik-frontend:main

English | 简体中文 | 日本語 | Português (Brasil) | 한국어 | Español | Français | Deutsch | Русский | العربية | हिन्दी | Türkçe

Opik

开源 AI 可观测性、评估与优化平台

Opik 帮助您构建、测试和优化生成式 AI 应用，从原型到生产环境全程提升运行质量。无论是 RAG 聊天机器人、代码助手还是复杂的智能体系统，Opik 都能提供全面的追踪、评估以及自动提示词和工具优化功能，消除 AI 开发中的猜测工作。

网站 • Slack 社区 • *** • 更新日志 • 文档

🚀 什么是 Opik？ • 🛠️ Opik 服务器安装 • 💻 Opik 客户端 SDK • 📝 日志追踪 🧑‍⚖️ LLM 作为裁判 • 🔍 评估您的应用 • ⭐ 给我们点赞 • 🤝 贡献代码

🚀 什么是 Opik？

Opik（由 Comet 构建）是一个开源平台，旨在简化 LLM 应用的整个生命周期。它使开发人员能够评估、测试、监控和优化其模型及智能体系统。主要功能包括：

• 全面可观测性：LLM 调用深度追踪、对话日志记录和智能体活动记录。
• 高级评估：强大的提示词评估、LLM 作为裁判（LLM-as-a-judge）和实验管理。
• 生产就绪：可扩展的监控仪表板和生产环境在线评估规则。
• Opik Agent Optimizer：专用 SDK 和优化器集，用于增强提示词和智能体。
• Opik Guardrails：帮助实施安全且负责任的 AI 实践的功能。

核心能力包括：

• 开发与追踪：

  • 在开发和生产环境中跟踪所有 LLM 调用和追踪，并附带详细上下文（快速入门）。
  • 广泛的第三方集成，实现轻松可观测性：与不断增长的框架列表无缝集成，原生支持许多最大和最受欢迎的框架（包括最新添加的 Google ADK、Autogen 和 Flowise AI）。（集成）
  • 通过 Python SDK 或 UI 为追踪和跨度添加反馈分数注释。
  • 在 提示词 playground 中试验提示词和模型。

• 评估与测试：

  • 使用 数据集 和 实验 自动化 LLM 应用评估。
  • 通过我们的 PyTest 集成 将评估集成到 CI/CD 管道中。

• 生产监控与优化：

  • 记录大量生产追踪：Opik 专为大规模设计（每天 4000 万+ 追踪）。
  • 在 Opik 仪表板 中监控反馈分数、追踪计数和令牌使用情况随时间的变化。
  • 利用带有 LLM 作为裁判指标的 在线评估规则 识别生产问题。
  • 利用 Opik Agent Optimizer 和 Opik Guardrails 在生产环境中持续改进和保护您的 LLM 应用。

[!TIP] 如果您正在寻找 Opik 目前没有的功能，请提出新的 https://github.com/comet-ml/opik/issues/new/choose 🚀

🛠️ Opik 服务器安装

几分钟内即可启动 Opik 服务器。选择最适合您需求的选项：

选项 1：Comet.com 云服务（最简单且推荐）

无需任何设置即可立即访问 Opik。非常适合快速入门和无麻烦维护。

👉 创建免费 Comet 账户

选项 2：自托管 Opik 以获得完全控制

在您自己的环境中部署 Opik。可选择 Docker（用于本地设置）或 Kubernetes（用于可扩展性）。

使用 Docker Compose 自托管（用于本地开发和测试）

这是运行本地 Opik 实例的最简单方法。注意新的 ./opik.sh 安装脚本：

在 Linux 或 Mac 环境中：

# Clone the Opik repository
git clone https://github.com/comet-ml/opik.git

# Navigate to the repository
cd opik

# Start the Opik platform
./opik.sh

在 Windows 环境中：

# Clone the Opik repository
git clone https://github.com/comet-ml/opik.git

# Navigate to the repository
cd opik

# Start the Opik platform
powershell -ExecutionPolicy ByPass -c ".\\opik.ps1"

开发服务配置文件

Opik 安装脚本现在支持不同开发场景的服务配置文件：

# Start full Opik suite (default behavior)
./opik.sh

# Start only infrastructure services (databases, caches etc.)
./opik.sh --infra

# Start infrastructure + backend services
./opik.sh --backend

# Enable guardrails with any profile
./opik.sh --guardrails # Guardrails with full Opik suite
./opik.sh --backend --guardrails # Guardrails with infrastructure + backend

使用 --help 或 --info 选项排查问题。Dockerfile 现在确保容器以非 root 用户身份运行，以增强安全性。所有服务启动后，您可以在浏览器中访问 localhost:5173！有关详细说明，请参阅 本地部署指南。

使用 Kubernetes 和 Helm 自托管（用于可扩展部署）

💻 Opik 客户端 SDK

Opik 提供了一套客户端库和 REST API，用于与 Opik 服务器交互。其中包括适用于 Python、TypeScript 和 Ruby（通过 OpenTelemetry）的 SDK，可无缝集成到您的工作流中。有关详细的 API 和 SDK 参考，请参阅 Opik 客户端参考文档。

Python SDK 快速入门

要开始使用 Python SDK：

安装包：

# install using pip
pip install opik

# or install with uv
uv pip install opik

通过运行 opik configure 命令配置 Python SDK，该命令会提示您输入 Opik 服务器地址（适用于自托管实例）或 API 密钥和工作区（适用于 Comet.com）：

opik configure

[!TIP] 您也可以在 Python 代码中调用 opik.configure(use_local=True)，将 SDK 配置为在本地自托管安装上运行，或直接提供 Comet.com 的 API 密钥和工作区详情。有关更多配置选项，请参阅 Python SDK 文档。

现在，您已准备好使用 Python SDK 开始记录追踪数据。

📝 使用集成记录追踪数据

记录追踪数据最简单的方法是使用我们的直接集成之一。Opik 支持多种框架，包括最新添加的 Google ADK、Autogen、AG2 和 Flowise AI：

[!TIP] 如果您使用的框架未在上述列表中，请随时https://github.com/comet-ml/opik/issues%E6%88%96%E6%8F%90%E4%BA%A4PR%E4%BB%A5%E6%B7%BB%E5%8A%A0%E9%9B%86%E6%88%90%E3%80%82

如果您未使用上述任何框架，也可以使用track函数装饰器来记录追踪数据：

import opik

opik.configure(use_local=True) # 本地运行

@opik.track
def my_llm_function(user_question: str) -> str:
# 您的LLM代码在此处

return "Hello"

[!TIP] track装饰器可与我们的任何集成结合使用，也可用于追踪嵌套函数调用。

🧑‍⚖️ LLM as a Judge 指标

Python Opik SDK 包含多个 LLM as a Judge 指标，可帮助您评估 LLM 应用。有关更多信息，请参阅指标文档。

要使用这些指标，只需导入相关指标并使用score函数：

from opik.evaluation.metrics import Hallucination

metric = Hallucination()
score = metric.score(
input="What is the capital of France?",
output="Paris",
context=["France is a country in Europe."]
)
print(score)

Opik 还包含多个预构建的启发式指标，以及创建自定义指标的功能。有关更多信息，请参阅指标文档。

🔍 评估您的 LLM 应用

⭐ 在 GitHub 上为我们点赞

如果您觉得 Opik 有用，请考虑给我们点个赞！您的支持有助于我们发展社区并持续改进产品。

🤝 贡献指南

有多种方式可以为 Opik 做贡献：

• 提交https://github.com/comet-ml/opik/issues%E5%92%8Chttps://github.com/comet-ml/opik/issues
• 审阅文档并提交https://github.com/comet-ml/opik/pulls%E4%BB%A5%E6%94%B9%E8%BF%9B%E6%96%87%E6%A1%A3
• 发表关于 Opik 的演讲或文章，并告知我们
• 为https://github.com/comet-ml/opik/issues?q=is%3Aissue+is%3Aopen+label%3A%22enhancement%22%E6%8A%95%E7%A5%A8%E4%BB%A5%E8%A1%A8%E7%A4%BA%E6%94%AF%E6%8C%81

要了解有关如何为 Opik 做贡献的更多信息，请参阅我们的贡献指南。