ghcr.io/comet-ml/opik/opik-python-backend:ci-e2e-6763

English | 简体中文 | 日本語 | Português (Brasil) | 한국어 Español | Français | Deutsch | Русский | العربية | हिन्दी | Türkçe

Opik

开源AI可观测性、评估与优化平台

Opik帮助您构建、测试和优化生成式AI应用，从原型到生产环境全程提升运行效果。无论是RAG聊天机器人、代码助手还是复杂的智能体系统，Opik都能提供全面的追踪、评估以及自动提示词和工具优化功能，消除AI开发中的猜测工作。

Website • Slack Community • *** • Changelog • Documentation

🚀 What is Opik? • 🛠️ Opik Server Installation • 💻 Opik Client SDK • 📝 Logging Traces 🧑‍⚖️ LLM as a Judge • 🔍 Evaluating your Application • ⭐ Star Us • 🤝 Contributing

🚀 什么是Opik？

Opik（由Comet构建）是一个开源平台，旨在简化LLM应用的整个生命周期。它使开发人员能够评估、测试、监控和优化其模型及智能体系统。主要功能包括：

• 全面可观测性：LLM调用深度追踪、对话日志记录和智能体活动记录。
• 高级评估：强大的提示词评估、LLM作为裁判（LLM-as-a-judge）以及实验管理。
• 生产就绪：可扩展的监控仪表板和生产环境在线评估规则。
• Opik智能体优化器：专用SDK和优化器集，用于增强提示词和智能体。
• Opik安全护栏：帮助实施安全且负责任的AI实践的功能。

核心功能包括：

• 开发与追踪：

• 在开发和生产环境中跟踪所有LLM调用和带有详细上下文的追踪记录（快速入门）。

• 广泛的第三方集成，实现轻松可观测性：与不断增长的框架列表无缝集成，原生支持许多最大和最受欢迎的框架（包括最新添加的Google ADK、Autogen和Flowise AI）。（集成）

• 通过Python SDK或UI为追踪记录和跨度添加反馈分数注释。

• 在提示词 playground中试验提示词和模型。

• 评估与测试：

• 使用数据集和实验自动化LLM应用评估。

• 通过我们的PyTest集成将评估集成到CI/CD管道中。

• 生产监控与优化：

• 记录大量生产追踪记录：Opik专为大规模场景设计（每天4000万+追踪记录）。

• 在Opik仪表板中监控反馈分数、追踪记录数量和令牌使用量随时间的变化。

• 利用带有LLM作为裁判指标的在线评估规则识别生产问题。

• 利用Opik智能体优化器和Opik安全护栏持续改进和保护生产环境中的LLM应用。

[!TIP] 如果您正在寻找Opik当前没有的功能，请提出新的https://github.com/comet-ml/opik/issues/new/choose 🚀

🛠️ Opik服务器安装

几分钟内即可启动Opik服务器。选择最适合您需求的选项：

选项1：Comet.com云服务（最简单且推荐）

无需任何设置即可立即使用Opik。非常适合快速入门和无麻烦维护。

👉 创建免费Comet账户

选项2：自托管Opik以获得完全控制权

在您自己的环境中部署Opik。可选择Docker用于本地设置或Kubernetes用于可扩展性部署。

使用Docker Compose自托管（用于本地开发和测试）

这是运行本地Opik实例的最简单方法。注意新的./opik.sh安装脚本：

在Linux或Mac环境中：

# Clone the Opik repository
git clone https://github.com/comet-ml/opik.git

# Navigate to the repository
cd opik

# Start the Opik platform
./opik.sh

在Windows环境中：

# Clone the Opik repository
git clone https://github.com/comet-ml/opik.git

# Navigate to the repository
cd opik

# Start the Opik platform
powershell -ExecutionPolicy ByPass -c ".\\opik.ps1"

开发服务配置文件

Opik安装脚本现在支持不同开发场景的服务配置文件：

# Start full Opik suite (default behavior)
./opik.sh

# Start only infrastructure services (databases, caches etc.)
./opik.sh --infra

# Start infrastructure + backend services
./opik.sh --backend

# Enable guardrails with any profile
./opik.sh --guardrails # Guardrails with full Opik suite
./opik.sh --backend --guardrails # Guardrails with infrastructure + backend

使用--help或--info选项排查问题。Dockerfile现在确保容器以非root用户运行，以增强安全性。所有服务启动后，您可以在浏览器中访问localhost:5173！有关详细说明，请参阅本地部署指南。

使用Kubernetes和Helm自托管（用于可扩展部署）

💻 Opik Client SDK

Opik 提供了一套客户端库和 REST API，用于与 Opik 服务器交互。其中包括适用于 Python、TypeScript 和 Ruby（通过 OpenTelemetry）的 SDK，可无缝集成到您的工作流中。有关详细的 API 和 SDK 参考，请参阅 Opik 客户端参考文档。

Python SDK 快速入门

要开始使用 Python SDK：

安装包：

# install using pip
pip install opik

# or install with uv
uv pip install opik

通过运行 opik configure 命令配置 Python SDK，该命令会提示您输入 Opik 服务器地址（适用于自托管实例）或 API 密钥和工作区（适用于 Comet.com）：

opik configure

[!TIP] 您也可以在 Python 代码中调用 opik.configure(use_local=True) 来将 SDK 配置为在本地自托管安装上运行，或直接提供 Comet.com 的 API 密钥和工作区详细信息。有关更多配置选项，请参阅 Python SDK 文档。

现在，您已准备好使用 Python SDK 开始记录追踪数据。

📝 使用集成记录追踪数据

记录追踪数据最简单的方法是使用我们的直接集成之一。Opik 支持多种框架，包括最新添加的 Google ADK、Autogen、AG2 和 Flowise AI：

[!TIP] 如果您使用的框架未在上述列表中，请随时https://github.com/comet-ml/opik/issues 或提交 PR 以添加集成。

如果您未使用上述任何框架，也可以使用 track 函数装饰器来记录跟踪：

import opik

opik.configure(use_local=True) # 本地运行

@opik.track
def my_llm_function(user_question: str) -> str:
# 您的 LLM 代码在此处

return "Hello"

[!TIP] track 装饰器可与我们的任何集成结合使用，也可用于跟踪嵌套函数调用。

🧑‍⚖️ LLM 作为评判指标

Python Opik SDK 包含多个 LLM 作为评判指标，帮助您评估 LLM 应用。在指标文档中了解更多信息。

要使用这些指标，只需导入相关指标并使用 score 函数：

from opik.evaluation.metrics import Hallucination

metric = Hallucination()
score = metric.score(
input="What is the capital of France?",
output="Paris",
context=["France is a country in Europe."]
)
print(score)

Opik 还包含许多预构建的启发式指标，以及创建自定义指标的能力。在指标文档中了解更多信息。

🔍 评估您的 LLM 应用

⭐ 在 GitHub 上为我们点赞

如果您觉得 Opik 有用，请考虑给我们点个星！您的支持有助于我们发展社区并持续改进产品。

🤝 贡献

有多种方式可以为 Opik 做贡献：

• 提交https://github.com/comet-ml/opik/issues%E5%92%8Chttps://github.com/comet-ml/opik/issues
• 审查文档并提交https://github.com/comet-ml/opik/pulls%E4%BB%A5%E6%94%B9%E8%BF%9B%E6%96%87%E6%A1%A3
• 谈论或撰写关于 Opik 的内容并告知我们
• 为https://github.com/comet-ml/opik/issues?q=is%3Aissue+is%3Aopen+label%3A%22enhancement%22%E6%8A%95%E7%A5%A8%E4%BB%A5%E8%A1%A8%E8%BE%BE%E6%94%AF%E6%8C%81

要了解更多关于如何为 Opik 做贡献的信息，请参阅我们的贡献指南。