dwpdigital/dataworks-behavioural-framework

AWS DataWorks自动化检查框架镜像

概述

本Docker镜像提供了一个端到端框架，专门用于在AWS DataWorks平台上执行自动化检查。该框架旨在简化DataWorks环境中的各类校验流程，确保数据管道、配置和操作符合预期标准与最佳实践。

核心功能与特性

• 全面检查覆盖：支持对DataWorks数据管道、转换规则、数据源配置及权限设置的自动化校验
• 端到端工作流：从检查触发、执行到结果报告生成的完整自动化流程
• AWS原生集成：与AWS DataWorks API深度集成，确保检查的准确性和实时性
• 可配置规则：支持自定义检查规则，适应不同业务场景和合规要求
• 结果可视化：生成结构化检查报告，支持多种输出格式（JSON、HTML等）

使用场景与适用范围

适用场景

• DataWorks数据管道部署前的自动化验证
• 日常数据流程运行状态监控与合规性检查
• 数据质量保障与异常检测
• 多环境（开发、测试、生产）配置一致性校验
• 数据治理与审计支持

适用人群

• AWS DataWorks平台管理员
• 数据工程师与ETL开发人员
• DevOps工程师（负责数据管道部署）
• 数据治理与合规团队

使用方法与配置说明

前提条件

• 已安装Docker环境
• 拥有AWS账号及DataWorks平台访问权限
• 配置AWS访问凭证（Access Key ID和Secret Access Key）

镜像拉取

bash
docker pull [镜像仓库地址]/dataworks-automated-checks:latest

基本运行命令

bash
docker run -it \
  -e AWS_ACCESS_KEY_ID="your_aws_access_key" \
  -e AWS_SECRET_ACCESS_KEY="your_aws_secret_key" \
  -e AWS_REGION="us-east-1" \
  -v /path/to/local/config:/app/config \
  [镜像仓库地址]/dataworks-automated-checks:latest

环境变量配置

配置文件示例（check-rules.yaml）

yaml
checks:
  - type: pipeline_validation
    enabled: true
    parameters:
      pipeline_ids: ["pipeline-123", "pipeline-456"]
      check_timeout: 300
  - type: data_quality
    enabled: true
    parameters:
      table_names: ["analytics.users", "staging.orders"]
      min_row_count: 1000
      max_null_percentage: 5
  - type: permission_check
    enabled: true
    parameters:
      required_roles: ["data-engineer", "data-reader"]

Docker Compose配置示例

yaml
version: '3'
services:
  dataworks-checks:
    image: [镜像仓库地址]/dataworks-automated-checks:latest
    environment:
      - AWS_ACCESS_KEY_ID=your_aws_access_key
      - AWS_SECRET_ACCESS_KEY=your_aws_secret_key
      - AWS_REGION=us-east-1
      - CHECK_CONFIG_PATH=/app/config/check-rules.yaml
      - REPORT_FORMAT=html
    volumes:
      - ./config:/app/config
      - ./reports:/app/reports
    restart: on-failure

检查结果查看

检查完成后，报告将生成在指定的REPORT_OUTPUT_PATH目录下。默认情况下，可通过以下命令查看容器内报告：

bash
docker exec -it [容器ID] cat /app/reports/check-results.html

或通过挂载的本地目录直接访问报告文件。