ghcr.io/comet-ml/opik/opik-python-backend:ci-e2e-09e6c4e

🚀 什么是 Opik？

Opik 涵盖 LLM 应用的完整生命周期，从开发阶段的首次追踪到生产环境监控，适用于构建 LLM 应用和 AI 智能体的团队。主要功能包括：

• AI 智能体追踪与可观测性：LLM 调用深度追踪、对话日志记录和智能体活动记录，支持多步骤智能体和工具调用的完整追踪树。
• LLM 评估：数据集、实验以及 LLM 作为裁判（LLM-as-a-judge）的指标，用于幻觉检测、内容审核和 RAG 评估。
• 提示词与智能体优化：Opik Agent Optimizer SDK，用于改进提示词和智能体。
• 生产级监控：可扩展的仪表板和在线评估规则。
• Opik 安全护栏：帮助实施安全且负责任的 AI 实践的功能。
• CI/CD 评估：PyTest 集成，可在每次提交时测试 LLM 流水线。

核心能力包括：

• 开发与追踪：

  • 在开发和生产环境中追踪所有 LLM 调用和追踪数据，并附带详细上下文（快速入门）。
  • 丰富的第三方集成，实现轻松可观测性：与不断增长的框架列表无缝集成，原生支持众多最大和最流行的框架（包括最新添加的 Google ADK、Autogen 和 Flowise AI）。（集成）
  • 通过 Python SDK 或 UI 为追踪和跨度添加反馈分数注释。
  • 在 提示词 playground 中试验提示词和模型。

• 评估与测试：

  • 使用 数据集 和 实验 自动化 LLM 应用评估。
  • 通过我们的 PyTest 集成 将评估集成到 CI/CD 流水线中。

• 生产监控与优化：

  • 记录大量生产追踪数据：Opik 专为大规模场景设计（每日 4000 万+ 追踪数据）。
  • 在 Opik 仪表板 中监控反馈分数、追踪计数和令牌使用量随时间的变化。
  • 利用带有 LLM 作为裁判指标的 在线评估规则 识别生产问题。
  • 利用 Opik Agent Optimizer 和 Opik Guardrails 持续改进和保障生产环境中的 LLM 应用安全。

适用人群： 构建 LLM 驱动智能体的 ML 工程师、从原型过渡到生产环境的 AI 团队，以及需要可在自有环境中运行的开源、可自托管可观测性工具的工程团队。

[!NOTE] 为什么开源至关重要：Opik 采用 Apache-2.0 许可，可免费自托管：包括完整平台（含后端），而不仅仅是客户端 SDK。该仓库包含服务器后端、Web 应用、追踪、数据集、实验、评估、提示词管理、在线评估和智能体优化组件，全部采用 Apache-2.0 许可。您可以在自有基础设施内运行 LLM 可观测性工具，数据不会离开您的环境，也无需与企业销售团队沟通。

[!TIP] 如果您正在寻找 Opik 目前没有的功能，请提交新的 https://github.com/comet-ml/opik/issues/new/choose 🚀

❓ 常见问题

Opik 是开源的吗？

Opik 采用 Apache 2.0 许可协议。其服务器、Web 应用程序以及核心可观测性和评估功能可在无需商业许可的情况下自托管。

我可以自托管 Opik 吗？

是的。可使用文档中提供的自托管选项在本地或您自己的基础设施中部署 Opik。

Opik 是否支持 AI 智能体追踪？

是的。Opik 可捕获包含 LLM 调用、工具执行、检索步骤和其他智能体活动的多步骤追踪数据。

Opik 是否支持 LLM 评估？

是的。Opik 支持数据集、实验、基于代码的指标、LLM 作为评判者的评估以及在线评估。

Opik 是否绑定到特定的智能体框架？

否。Opik 是框架无关的，支持其 SDK、OpenTelemetry 以及特定框架的集成。

如果您未使用上述任何框架，也可以使用track函数装饰器来记录追踪信息：

import opik

opik.configure(use_local=True) # 本地运行

@opik.track
def my_llm_function(user_question: str) -> str:
# 您的LLM代码在此处

return "Hello"

[!TIP] track装饰器可以与我们的任何集成结合使用，也可用于追踪嵌套函数调用。

🧑‍⚖️ LLM 评判指标

Python Opik SDK 包含多种 LLM 评判指标，可帮助您评估 LLM 应用。在指标文档中了解更多信息。

要使用这些指标，只需导入相关指标并使用score函数：

from opik.evaluation.metrics import Hallucination

metric = Hallucination()
score = metric.score(
input="What is the capital of France?",
output="Paris",
context=["France is a country in Europe."]
)
print(score)

Opik 还包含多种预构建的启发式指标，以及创建自定义指标的功能。在指标文档中了解更多信息。

🔍 评估您的 LLM 应用

⭐ 在 GitHub 上为我们点赞

如果您觉得 Opik 有用，请考虑为我们点赞！您的支持有助于我们发展社区并持续改进产品。

🤝 贡献

有多种方式可以为 Opik 做贡献：

• 提交https://github.com/comet-ml/opik/issues和https://github.com/comet-ml/opik/issues
• 审核文档并提交https://github.com/comet-ml/opik/pulls以改进文档
• 谈论或撰写关于 Opik 的内容并告知我们
• 为https://github.com/comet-ml/opik/issues?q=is%3Aissue+is%3Aopen+label%3A"enhancement"投票以表示支持

要了解更多关于如何为 Opik 做贡献的信息，请参阅我们的贡献指南。