catalystcoop/pudl-etl

夜间数据构建与验证工作流容器镜像文档

镜像概述

本镜像旨在提供一个标准化容器环境，用于自动化执行夜间数据构建与验证工作流。通过封装数据处理逻辑与执行环境，确保数据构建流程的一致性、可重复性和可靠性，满足企业级数据处理场景中定时执行数据构建与质量验证的需求。

核心功能与特性

• 定时执行机制：支持配置夜间定时任务，自动触发数据构建与验证流程
• 数据构建能力：集成数据抽取、转换、加载(ETL)基础框架，支持自定义数据处理逻辑
• 多维度数据验证：内置数据完整性、准确性、一致性校验模块，支持自定义验证规则
• 完整日志体系：记录工作流执行全过程日志，包含数据处理详情与验证结果
• 错误处理机制：支持任务失败重试、异常捕获及通知告警（邮件/HTTP回调）
• 环境隔离：容器化部署确保与主机环境隔离，避免依赖冲突

使用场景与适用范围

• 企业数据仓库（EDW）每日增量数据构建与校验
• 大数据分析平台夜间数据预处理与质量把关
• 数据产品核心数据集的定时更新与发布流程
• 数据中台基础数据层（ODS/DWD）的自动化维护
• 需要定期验证数据质量的监管合规场景

使用方法与配置说明

基础运行示例

docker
docker run -d \
  --name nightly-data-workflow \
  -v /host/data:/app/data \
  -v /host/config:/app/config \
  -e SCHEDULE="0 2 * * *" \  # 每天凌晨2点执行
  -e DATA_SOURCE_CONFIG="/app/config/source.json" \
  -e VALIDATION_RULES="/app/config/rules.yaml" \
  -e LOG_LEVEL="INFO" \
  -e ALERT_EMAIL="data-admin@example.com" \
  [镜像名称]:[版本标签]

Docker Compose配置

yaml
version: '3.8'
services:
  data-workflow:
    image: [镜像名称]:[版本标签]
    container_name: nightly-data-pipeline
    volumes:
      - ./data:/app/data:rw
      - ./config:/app/config:ro
      - ./logs:/app/logs:rw
    environment:
      - SCHEDULE=0 1 * * *
      - DATA_SOURCE_CONFIG=/app/config/source_config.json
      - VALIDATION_RULES=/app/config/validation_rules.yaml
      - LOG_LEVEL=DEBUG
      - ALERT_EMAIL=team@example.com
      - MAX_RETRY=3
      - OUTPUT_FORMAT=parquet
    restart: unless-stopped

核心配置参数说明

环境变量配置

数据源配置文件示例（JSON格式）

json
{
  "type": "postgresql",
  "connection": {
    "host": "db-host",
    "port": 5432,
    "database": "source_db",
    "user": "etl_user",
    "password": "${DB_PASSWORD}"  // 支持环境变量引用
  },
  "tables": ["user_behavior", "order_transaction"],
  "incremental_field": "update_time"
}

验证规则配置示例（YAML格式）

yaml
integrity_checks:
  - table: "user_behavior"
    checks:
      - "required_columns:user_id,action_type,timestamp"
      - "row_count:>10000"
      - "null_rate:user_id<0.01"

accuracy_checks:
  - table: "order_transaction"
    checks:
      - "field_range:amount>0"
      - "format_validation:order_no=^ORD\\d{10}$"
      - "cross_validate:order_status IN ('pending','completed','cancelled')"

consistency_checks:
  - "sum(amount) in order_transaction == sum(payment_amount) in payment_records"

日志与数据持久化

• 日志文件默认路径：/app/logs/workflow-YYYYMMDD.log
• 处理后数据默认输出路径：/app/data/output/
• 建议通过-v参数挂载主机目录实现数据持久化

健康检查

容器内置健康检查机制，可通过以下命令查看工作流状态：

docker
docker exec nightly-data-workflow /app/bin/check_status.sh