linkedin/datahub-ingestion

DataHub Ingestion 镜像文档

镜像概述

DataHub Ingestion镜像是DataHub数据目录平台的核心组件，专注于实现数据从各类数据源到DataHub的数据摄取、同步及元数据采集功能。作为DataHub数据集成链路的关键环节，该镜像支持通过配置化方式定义数据摄取任务，自动化完成数据抽取、转换、加载（ETL）流程，确保DataHub数据目录中数据资产信息的实时性与准确性，为企业数据治理、元数据管理及数据发现提供基础支撑。

核心功能与特性

多数据源支持

• 覆盖主流数据源类型：关系型数据库（MySQL、PostgreSQL、Oracle）、数据仓库（***、BigQuery、Redshift）、消息队列（Kafka、RabbitMQ）、API服务（REST API、GraphQL）及文件存储（S3、GCS、HDFS）等。
• 内置丰富连接器：提供开箱即用的数据源连接器，无需额外开发即可快速对接目标数据源。

全面元数据采集

• 基础元数据：自动采集表/集合名称、字段名称、数据类型、 nullable 约束、默认值等表结构信息。
• 业务元数据：支持采集字段描述、表级/字段级标签、数据负责人、数据分类等业务属性。
• 数据血缘：追踪数据流转路径，记录数据从源头到目标的转换关系（如ETL任务、SQL查询依赖）。

灵活同步策略

• 同步模式：支持全量同步（首次数据加载）、增量同步（基于时间戳/自增ID的变更捕获）及实时同步（监听数据源变更事件）。
• 调度配置：支持定时触发（CRON表达式）、事件触发（如文件落地、消息到达）及手动触发，满足不同数据更新频率需求。

任务配置与管理

• 配置驱动：通过YAML配置文件定义数据源连接、同步规则、目标DataHub配置，支持版本化管理。
• 动态任务管理：支持通过API或DataHub UI动态创建、更新、暂停/恢复摄取任务，无需重启容器。

监控与可观测性

• 任务状态追踪：实时上报任务执行状态（运行中、成功、失败、暂停）及进度（已处理记录数、剩余时间）。
• 日志与告警：输出详细执行日志（INFO/DEBUG级别），支持集成Prometheus监控指标（任务耗时、成功率、数据量），并可配置失败告警（邮件、Slack、Webhook）。

使用场景与适用范围

适用场景

• 企业数据目录构建：需统一管理多系统数据资产（如跨部门数据库、数据仓库表），通过该镜像自动采集元数据并汇聚至DataHub。
• 元数据自动化管理：替代人工维护数据资产文档，通过定时/实时同步确保元数据（如字段描述、数据血缘）与数据源实时一致。
• 数据集成流程简化：为BI工具、数据科学平台提供统一数据入口，通过配置化任务快速对接数据源，减少定制化ETL开发。
• 数据治理合规：通过元数据采集与血缘追踪，满足数据审计、合规性检查（如GDPR、数据分类分级）需求。

适用用户

• 数据工程师：配置数据摄取任务，实现跨系统数据同步。
• 数据治理团队：自动化元数据采集，构建企业数据资产目录。
• 数据平台管理员：监控数据流转链路，保障数据集成稳定性。

使用方法与配置说明

前提条件

• 已部署DataHub核心服务（GMS、Frontend），且Ingestion镜像可访问GMS服务（默认端口8080）。
• 目标数据源已配置访问权限（如数据库账号密码、API密钥、网络通路）。
• 宿主机或容器环境支持挂载配置文件（用于任务配置）。

拉取镜像

从Docker Hub或私有镜像仓库拉取最新版本镜像：

bash
docker pull datahubproject/ingestion:latest

版本说明：可通过指定标签选择稳定版本（如v0.13.0），建议与DataHub核心服务版本保持一致。

配置文件示例

数据摄取任务通过YAML配置文件定义，以下为MySQL数据源同步至DataHub的示例配置（ingestion-config.yaml）：

yaml
# 数据源配置
source:
  type: mysql
  config:
    username: "db_user"
    password: "db_password"
    host_port: "mysql-host:3306"
    database: "target_db"
    schema_pattern: "public"  # 同步指定schema下的表
    table_pattern: "orders.*"  # 同步orders前缀的表
    use_information_schema: true  # 从information_schema获取元数据

# 目标DataHub配置
sink:
  type: datahub
  config:
    server: "http://datahub-gms:8080"  # DataHub GMS服务地址
    auth:
      type: "no-auth"  # 若启用认证，可配置token或OAuth2信息

# 同步策略配置
transformers:
  - type: "add_dataset_tags"  # 为同步的数据集添加标签
    config:
      tags: ["mysql", "production"]
  - type: "mask_sensitive_fields"  # 脱敏敏感字段（如手机号）
    config:
      fields: ["phone_number"]
      mask_type: "partial"  # 部分脱敏（如138*5678）

# 任务调度配置
run_config:
  schedule: "0 */6 * * *"  # CRON表达式：每6小时执行一次
  retry_count: 3  # 任务失败后重试次数
  timeout_seconds: 3600  # 任务超时时间（1小时）

运行容器（Docker Run示例）

通过docker run启动容器，挂载配置文件并指定环境变量：

bash
docker run -d \
  --name datahub-ingestion \
  -v /path/to/ingestion-config.yaml:/etc/datahub/ingestion-config.yaml \
  -e DATAHUB_GMS_HOST=datahub-gms \  # DataHub GMS服务主机名
  -e DATAHUB_GMS_PORT=8080 \         # DataHub GMS服务端口
  -e LOG_LEVEL=INFO \                # 日志级别（INFO/DEBUG/WARN/ERROR）
  -e INGESTION_WORKER_COUNT=2 \      # 并发任务数（默认1）
  datahubproject/ingestion:latest \
  ingest -c /etc/datahub/ingestion-config.yaml  # 启动指定配置文件的任务

Docker Compose配置示例

与DataHub核心服务一同部署时，可通过docker-compose.yml集成：

yaml
version: '3.8'
services:
  datahub-gms:  # DataHub GMS服务（需提前部署）
    image: datahubproject/gms:latest
    ports:
      - "8080:8080"
    # ...其他GMS配置（略）

  datahub-ingestion:
    image: datahubproject/ingestion:latest
    volumes:
      - ./ingestion-configs:/etc/datahub/configs  # 挂载配置文件目录
    environment:
      - DATAHUB_GMS_HOST=datahub-gms
      - DATAHUB_GMS_PORT=8080
      - LOG_LEVEL=INFO
      - INGESTION_WORKER_COUNT=3
    command: ingest -d /etc/datahub/configs  # 批量运行目录下所有YAML配置任务
    depends_on:
      - datahub-gms

环境变量说明

配置文件参数说明

配置文件（YAML）核心参数结构如下：

1. 数据源配置（source）

• type：数据源类型（如mysql/snowflake/kafka），需与内置连接器匹配。
• config：数据源连接详情，不同类型数据源参数不同（参考DataHub连接器文档）。

2. 目标配置（sink）

• type: datahub：固定值，指定目标为DataHub。
• config.server：DataHub GMS服务地址（如http://datahub-gms:8080）。
• config.auth：认证配置（如no-auth/token/oauth2），无认证时可省略。

3. 转换规则（transformers，可选）

• 数组类型，支持多转换步骤（如添加标签、脱敏字段、过滤数据），每个转换需指定type及对应config。

4. 运行配置（run_config，可选）

• schedule：CRON表达式（如0 0 * * *表示每日凌晨执行），不配置则为一次性任务。
• retry_count：任务失败后重试次数。
• timeout_seconds：单任务超时时间，超时后标记为失败。

任务管理与监控

查看任务状态

通过DataHub UI（http://datahub-frontend:9002）的“Ingestion”模块查看任务列表及执行状态，或通过容器日志实时监控：

bash
docker logs -f datahub-ingestion

动态更新任务

修改挂载的YAML配置文件后，配置将在CONFIG_RELOAD_INTERVAL时间内自动重载，无需重启容器；或通过DataHub API触发任务更新：

bash
curl -X POST "http://datahub-gms:8080/ingestion/tasks/{task-id}/reload"

监控指标

Prometheus可通过METRICS_PORT（默认9090）抓取指标，关键指标包括：

• ingestion_task_success_total：成功完成的任务数
• ingestion_task_failed_total：失败的任务数
• ingestion_records_processed_total：处理的记录总数
• ingestion_task_duration_seconds：任务平均执行耗时