dqops/dqo

DQOps 数据质量运营中心

DQOps是一款DataOps友好的数据质量监控工具，提供可定制的数据质量检查和数据质量仪表板。DQOps内置约100种预定义的数据质量检查，帮助用户监控数据质量。

!DQOps界面

核心功能和特性

• 直观的图形界面和CLI访问方式
• 支持多种数据源：BigQuery、***、PostgreSQL、Redshift、SQL Server和MySQL
• 约150种内置的表级和列级检查，且易于定制
• 支持编写自定义SQL查询的表级和列级检查
• 每日和每月日期分区测试
• 支持最多9种不同数据流的数据分段
• 内置调度功能
• 计算数据质量KPI，可在多个内置数据质量仪表板上展示
• 事件分析功能

使用场景和适用范围

DQOps设计为数据质量团队的主要平台，也适用于所有希望为其数据平台应用数据质量监控的数据工程或数据科学团队。以下是部分使用场景及最佳实践：

• 数据质量KPI定义：描述DQOps用于计算数据质量分数的公式，用于衡量数据源质量
• 创建自定义数据质量仪表板：使用DQOps提供的Looker Studio自定义连接器，创建易于业务人员理解的数据质量仪表板
• 数据质量检查类别：了解DQOps支持的数据质量检查类型
• 检测及时性和新鲜度：学习如何使用DQOps检测数据及时性和新鲜度问题
• 增量数据质量监控：使用DQOps独特的时间分区检查功能，分析财务数据、追加型数据或TB/PB级大型表
• 数据质量问题分组为事件：了解如何将类似数据质量问题分组为事件，并通过Slack或webhook接收通知

以下示例展示了配置数据质量检查的完整流程，包括使用YAML文件或DQOps用户界面：

• 检测数据库和表可用性问题
• 配置数据量检查以检测空表或不完整表
• 检测列是否仅包含可接受值
• 通过测量重复率检测列中的重复值
• 使用正则表达式验证文本列中的值以检测无效电子邮件
• 使用模式漂移数据质量检查检测表结构变化：如缺失列、列顺序变化、列数据类型变化或新增/删除列

使用方法和配置说明

前提条件

要将DQOps作为Docker容器运行，需要：

• 本地运行的Docker环境。按照Docker下载和安装说明操作。
• DQOps Cloud账户和唯一识别码（API Key）。如果要使用DQOps的云功能（如在云端存储数据质量定义和结果或使用数据质量仪表板），请在此创建DQOps Cloud账户。
• 本地创建"userhome"文件夹，用于挂载到容器。卷是持久化Docker容器生成和使用的数据的首选机制。"userhome"文件夹将本地存储传感器读数、检查结果和数据源配置等数据。

以服务器模式启动DQOps

按照以下步骤以服务器模式启动DQOps：

1. 在终端中运行以下命令从DockerHub下载DQOps镜像：

   docker pull dqops/dqo
   

2. 运行DQOps Docker镜像：

   docker run -v [输入本地userhome文件夹路径]:/dqo/userhome -p 8888:8888 dqops/dqo --dqo.cloud.api-key=[输入你的API Key] run
   

   • -v标志将本地创建的"userhome"文件夹挂载到容器中，需提供本地userhome文件夹的路径
   • -p标志将主机的8888端口映射到容器的8888端口，没有端口映射将无法访问应用
   • --dqo.cloud.api-key参数指定DQOps Cloud账户的API Key

3. 几秒钟后，打开浏览器访问http://localhost:8888，即可看到DQOps的图形界面。

以Shell模式启动DQOps

按照以下步骤以Shell模式启动DQOps：

1. 在终端中运行以下命令从DockerHub下载DQOps镜像：

   docker pull dqops/dqo
   

2. 运行DQOps Docker镜像：

   docker run -v [输入本地userhome文件夹路径]:/dqo/userhome -it -p 8888:8888 dqops/dqo --dqo.cloud.api-key=[输入你的API Key]
   

   • -v标志将本地创建的"userhome"文件夹挂载到容器中，需提供本地userhome文件夹的路径
   • -i标志即使未附加也保持STDIN打开
   • -t标志分配伪终端
   • -p标志将主机的8888端口映射到容器的8888端口，没有端口映射将无法访问应用
   • --dqo.cloud.api-key参数指定DQOps Cloud账户的API Key

3. 几秒钟后，可以使用DQOps终端，或在浏览器中访问http://localhost:8888打开图形界面。

DQOps客户端

可以通过调用DQOps Python客户端将DQOps集成到数据管道和ML管道中。安装Python客户端包：

python -m pip install --user dqops

dqops包包含远程客户端，可连接到DQOps实例并执行用户界面支持的所有操作。DQOps客户端可用于数据管道或数据准备代码中，以验证表的质量。

可以使用未认证客户端从数据管道代码连接到本地DQOps实例。首先创建客户端对象：

python
from dqops import client

dqops_client = client.Client(base_url="http://localhost:8888")

或者，如果连接到已启用身份验证的生产DQOps实例，需在DQOps的用户配置文件屏幕中生成DQOps API Key。然后使用该密钥作为令牌创建AuthenticatedClient：

python
from dqops import client

dqops_client = client.AuthenticatedClient(base_url="http://localhost:8888", token="你的DQO API Key")

现在可以调用DQOps操作。以下代码展示如何对已在DQOps中注册的数据源执行数据质量检查：

python
from dqops.client.api.jobs import run_checks
from dqops.client.models import CheckSearchFilters, \
                              RunChecksParameters


request_body = RunChecksParameters(
  check_search_filters=CheckSearchFilters(
      column='sample_column',
      column_data_type='string',
      connection='sample_connection',
      full_table_name='sample_schema.sample_table',
      enabled=True
  )
)

check_results = run_checks.sync(
  client=dqops_client,
  json_body=request_body
)

run_checks操作返回已执行数据质量检查的摘要和最高数据质量问题严重级别。以下示例中，最严重的问题为error级别：

json
{
  "jobId" : {
    "jobId" : 123456789,
    "createdAt" : "2023-10-11T13:42:00Z"
  },
  "result" : {
    "highest_severity" : "error",
    "executed_checks" : 10,
    "valid_results" : 7,
    "warnings" : 1,
    "errors" : 2,
    "fatals" : 0,
    "execution_errors" : 0
  },
  "status" : "succeeded"
}

在DQOps REST API客户端参考文档中了解更多关于DQOps Python客户端的信息，其中展示了客户端支持的每个操作对应的Python代码示例。

文档

有关完整的指南和使用场景文档，请访问[***]

快速入门指南展示了如何开始使用DQOps。

此外，阅读DQOps概念指南，了解DQOps的工作原理以及如何配置数据质量检查。

联系和问题反馈

如发现工具问题，请在以下地址提交：

https://github.com/dqops/dqo/issues

或通过[***]