ghcr.io/comet-ml/opik/opik-frontend:2.2.52-6548

English | 简体中文 | Español | Français | Deutsch | 日本語

Opik: Open-Source LLM Observability, Evaluation & AI Agent Tracing

Opik 是开源的 LLM 可观测性与评估平台，用于 AI 智能体追踪、LLM 评估、提示词管理和生产环境监控。由 Comet 开发，采用 Apache-2.0 许可协议，可免费自托管完整平台，拥有 20,000+ GitHub 星标。

网站 • Slack 社区 • *** • 更新日志 • 文档

最后更新：2026-07-17

🚀 Opik 是什么？ • ⚡ 快速开始 • 📊 Opik 对比分析 • ❓ 常见问题 • 🛠️ Opik 服务器安装 • 💻 Opik 客户端 SDK • 📝 日志追踪 🧑‍⚖️ LLM 评判者 • 🔍 应用评估 • ⭐ 给我们点星 • 🤝 贡献指南

🚀 Opik 是什么？

Opik 涵盖 LLM 应用的完整生命周期，从开发阶段的首次追踪到生产环境监控，适用于构建 LLM 应用和 AI 智能体的团队。主要功能包括：

• AI 智能体追踪与可观测性：深度追踪 LLM 调用、对话日志和智能体活动，为多步骤智能体和工具调用提供完整的追踪树。
• LLM 评估：数据集、实验和 LLM 评判者指标，用于幻觉检测、内容审核和 RAG 评估。
• 提示词与智能体优化：Opik Agent Optimizer SDK 用于改进提示词和智能体。
• 生产级监控：可扩展的仪表板和在线评估规则。
• Opik Guardrails：帮助实施安全负责任 AI 实践的功能。
• CI/CD 评估：PyTest 集成，用于在每次提交时测试 LLM 流水线。

核心能力包括：

• 开发与追踪：

• 在开发和生产环境中跟踪所有 LLM 调用和追踪，包含详细上下文（快速开始）。

• 丰富的第三方集成，便于观测：与不断增长的框架列表无缝集成，原生支持许多最大和最流行的框架（包括最新添加的 Google ADK、Autogen 和 Flowise AI）。（集成）

• 通过 Python SDK 或 UI 为追踪和跨度添加反馈评分注释。

• 在 Prompt Playground 中试验提示词和模型。

• 评估与测试：

• 使用 数据集 和 实验 自动化 LLM 应用评估。

• 通过我们的 PyTest 集成 将评估集成到 CI/CD 流水线中。

• 生产监控与优化：

• 记录大量生产环境追踪数据：Opik 专为大规模场景设计（每日 4000 万+ 追踪）。

• 在 Opik 仪表板 中监控反馈评分、追踪计数和令牌使用量随时间的变化。

• 利用 在线评估规则 和 LLM 评判者指标识别生产环境问题。

• 借助 Opik Agent Optimizer 和 Opik Guardrails 持续改进和保障生产环境中的 LLM 应用安全。

适用人群：构建 LLM 驱动智能体的 ML 工程师、从原型过渡到生产环境的 AI 团队，以及需要可在自有环境中运行的开源、可自托管可观测性工具的工程团队。

为什么开源至关重要：Opik 采用 Apache-2.0 许可协议，可免费自托管：包括完整平台（含后端），而不仅仅是客户端 SDK。该仓库包含服务器后端、Web 应用、追踪、数据集、实验、评估、提示词管理、在线评估和智能体优化组件，全部采用 Apache-2.0 许可。您可以在自有基础设施内运行 LLM 可观测性，数据不会离开您的环境，且无需与企业销售团队沟通。

[!TIP] 如果您正在寻找 Opik 目前没有的功能，请提交新的 https://github.com/comet-ml/opik/issues/new/choose 🚀

⚡ 快速开始

安装 Python SDK 并配置：

pip install opik
opik configure

使用 @track 装饰器包装任何函数以开始记录追踪：

from opik import track

@track
def my_function(input: str) -> str:
return input

现在，对 my_function 的每次调用都会记录到 Opik，包括嵌套调用，因此这不仅适用于单个 LLM 调用，还适用于完整的智能体和流水线追踪。有关 TypeScript SDK 和其他设置选项，请参阅 快速开始指南。

❓ 常见问题

Opik 是开源的吗？

Opik 采用 Apache 2.0 许可协议。其服务器、Web 应用程序以及核心可观测性和评估功能可在无需商业许可的情况下自行托管。

我可以自行托管 Opik 吗？

是的。可以使用文档中提供的自行托管选项在本地或您自己的基础设施中部署 Opik。

Opik 是否支持 AI 智能体追踪？

是的。Opik 可捕获包含 LLM 调用、工具执行、检索步骤和其他智能体活动的多步骤追踪数据。

Opik 是否支持 LLM 评估？

是的。Opik 支持数据集、实验、基于代码的指标、LLM 作为评判者的评估以及在线评估。

Opik 是否绑定到特定的智能体框架？

否。Opik 与框架无关，支持其 SDK、OpenTelemetry 以及特定框架的集成。

[!TIP] 如果您使用的框架未在上述列表中，请随时https://github.com/comet-ml/opik/issues或提交包含集成的PR。

如果您未使用上述任何框架，也可以使用track函数装饰器来记录追踪数据：

import opik

opik.configure(use_local=True) # 本地运行

@opik.track
def my_llm_function(user_question: str) -> str:
# 您的LLM代码在此处

return "Hello"

[!TIP] track装饰器可以与我们的任何集成结合使用，也可用于追踪嵌套函数调用。

🧑‍⚖️ LLM作为评判指标

Python Opik SDK包含多种LLM作为评判指标，可帮助您评估LLM应用。有关更多信息，请参阅指标文档。

要使用这些指标，只需导入相关指标并使用score函数：

from opik.evaluation.metrics import Hallucination

metric = Hallucination()
score = metric.score(
input="What is the capital of France?",
output="Paris",
context=["France is a country in Europe."]
)
print(score)

Opik还包含多种预构建的启发式指标，以及创建自定义指标的功能。有关更多信息，请参阅指标文档。

🔍 评估您的LLM应用

⭐ 在GitHub上为我们点赞

如果您觉得Opik有用，请考虑给我们点个赞！您的支持有助于我们发展社区并持续改进产品。

🤝 贡献代码

有多种方式可以为Opik做贡献：

• 提交https://github.com/comet-ml/opik/issues和https://github.com/comet-ml/opik/issues
• 审阅文档并提交https://github.com/comet-ml/opik/pulls以改进文档
• 发表关于Opik的演讲或文章，并告知我们
• 为https://github.com/comet-ml/opik/issues?q=is%3Aissue+is%3Aopen+label%3A"enhancement"投票以表示支持

要了解更多关于如何为Opik做贡献的信息，请参阅我们的贡献指南。