sodadata/soda-core

Soda Core

SQL、Spark和Pandas可访问数据的数据质量测试工具

https://img.shields.io/badge/license-Apache%202-blue.svg](https://github.com/sodadata/soda-core/blob/main/LICENSE) https://img.shields.io/badge/chat-slack-green.svg]([] ![Downloads]([]

核心功能

• 开源的命令行工具和Python库，用于数据质量测试
• 兼容https://docs.soda.io/soda-cl/soda-cl-overview.html
• 可在数据管道内外和开发工作流中进行数据质量测试
• 支持集成到数据管道中执行Soda扫描，或按时间计划以编程方式执行扫描

概述

Soda Core是一款免费、开源的命令行工具和Python库，允许您使用Soda Checks Language将用户定义的输入转换为聚合SQL查询。

当对数据集运行扫描时，Soda Core执行检查以发现无效、缺失或意外的数据。当Soda检查失败时，会显示您定义为质量不佳的数据。

Soda Library

考虑迁移到https://docs.soda.io/soda/quick-start-sip.html%EF%BC%8C%E8%BF%99%E6%98%AFSoda Core的扩展，提供更多特性和功能，并允许您连接到https://docs.soda.io/soda-cloud/overview.html%E8%B4%A6%E6%88%B7%EF%BC%8C%E4%B8%8E%E5%9B%A2%E9%98%9F%E5%8D%8F%E4%BD%9C%E5%A4%84%E7%90%86%E6%95%B0%E6%8D%AE%E8%B4%A8%E9%87%8F%E3%80%82

• 使用https://docs.soda.io/soda-cl/group-by.html%E5%92%8Chttps://docs.soda.io/soda-cl/group-evolution.html%E9%85%8D%E7%BD%AE%E6%99%BA%E8%83%BD%E5%88%86%E7%BB%84%E6%A3%80%E6%9F%A5%E7%BB%93%E6%9E%9C
• 利用https://docs.soda.io/soda-cl/recon.html%E6%AF%94%E8%BE%83%E6%95%B0%E6%8D%AE%E6%BA%90%E4%B9%8B%E9%97%B4%E7%9A%84%E6%95%B0%E6%8D%AE%EF%BC%8C%E9%80%82%E7%94%A8%E4%BA%8E%E6%95%B0%E6%8D%AE%E8%BF%81%E7%A7%BB%E9%A1%B9%E7%9B%AE
• 使用https://docs.soda.io/soda-cl/schema.html#define-schema-evolution-checks%E6%A3%80%E6%9F%A5%E8%87%AA%E5%8A%A8%E9%AA%8C%E8%AF%81%E6%A8%A1%E5%BC%8F
• 设置https://docs.soda.io/soda-cl/anomaly-detection.html%E6%A3%80%E6%9F%A5%E8%87%AA%E5%8A%A8%E5%AD%A6%E4%B9%A0%E6%A8%A1%E5%BC%8F%E5%B9%B6%E5%8F%91%E7%8E%B0%E6%95%B0%E6%8D%AE%E4%B8%AD%E7%9A%84%E5%BC%82%E5%B8%B8

https://docs.soda.io/soda-library/install.html%E5%B9%B6%E5%BC%80%E5%A7%8B45%E5%A4%A9%E5%85%8D%E8%B4%B9%E8%AF%95%E7%94%A8%E3%80%82

快速开始

Soda Core目前支持连接到多个数据源。完整列表请参见兼容性。

要求

• Python 3.8或更高版本
• Pip 21.0或更高版本

安装和运行

1. 首先，使用安装命令，将soda-core-postgres替换为与您的数据源匹配的包。完整列表请参见安装Soda Core。

   shell
   pip install soda-core-postgres
   

2. 准备configuration.yml文件以连接到您的数据源。然后，在checks.yml文件中编写数据质量检查。参见配置Soda Core。

3. 运行扫描以查看扫描期间通过、失败或警告的检查。参见运行Soda Core扫描。

   shell
   soda scan -d your_datasource -c configuration.yml checks.yml
   

示例检查

yaml
# 基本验证检查
checks for dim_customer:
  - row_count between 10 and 1000
  - missing_count(birth_date) = 0
  - invalid_percent(phone) < 1 %:
      valid format: phone number
  - invalid_count(number_cars_owned) = 0:
      valid min: 1
      valid max: 6
  - duplicate_count(phone) = 0

# 模式变更检查
checks for dim_product:
  - schema:
      name: 查找禁止、缺失或错误类型的列
      warn:
        when required column missing: [dealer_price, list_price]
        when forbidden column present: [credit_card]
        when wrong column type:
          standard_cost: money
      fail:
        when forbidden column present: [pii*]
        when wrong column index:
          model_name: 22
# 新鲜度检查
  - freshness(start_date) < 1d

# 引用完整性检查
checks for dim_department_group:
  - values in (department_group_name) must exist in dim_employee (department_name)

文档

• Soda Core
• https://docs.soda.io/soda-cl/soda-cl-overview.html