acryldata/datahub-ingestion-base

DataHub Ingestion 基础镜像文档

镜像概述和主要用途

DataHub Ingestion 基础镜像是 DataHub 数据摄入生态的底层支撑镜像，旨在为各类 DataHub 数据摄入容器提供标准化的运行环境和基础依赖。该镜像预配置了 DataHub 数据摄入所需的核心运行时、依赖库及文件系统结构，简化自定义数据摄入逻辑的开发与部署流程，确保不同摄入组件在运行环境上的一致性。

核心功能和特性

核心功能

1. 标准化运行环境：提供 DataHub 摄入组件所需的 Python 运行时（默认 Python 3.9+）及基础系统库。
2. 预安装核心依赖：内置 datahub-ingestion 核心库、常用数据源连接器（如 MySQL、PostgreSQL、Kafka 等）及数据处理工具（如 pandas、pyarrow）。
3. 统一文件系统结构：规范配置文件（/etc/datahub/ingestion）、日志（/var/log/datahub/ingestion）及临时文件（/tmp/datahub）的存储路径。

特性

• 轻量级设计：基于 Alpine Linux 或 Slim Debian，最小化镜像体积。
• 环境变量配置：支持通过环境变量动态调整摄入参数（如日志级别、配置文件路径）。
• 健康检查机制：内置基础健康检查脚本，支持容器编排平台（如 Kubernetes、Docker Compose）的状态监控。
• 扩展性支持：预留自定义依赖安装入口，可通过 requirements.txt 或 pip install 扩展第三方库。

使用场景和适用范围

使用场景

1. 自定义摄入源开发：基于该镜像构建包含自定义数据源（如企业内部系统、私有 API）连接器的容器。
2. 摄入逻辑扩展：扩展 DataHub 现有摄入功能（如数据脱敏、格式转换、自定义元数据提取）。
3. 多环境一致性部署：在开发、测试、生产环境中复用统一基础镜像，避免环境差异导致的运行问题。

适用范围

• DataHub 用户及开发者：需构建自定义数据摄入容器的场景。
• 数据平台团队：批量部署或集成多个数据源的 DataHub 摄入任务。
• 容器化部署场景：适配 Docker、Kubernetes 等容器编排平台的 DataHub 摄入任务。

使用方法和配置说明

基础使用流程

1. 基于基础镜像构建自定义镜像：通过 Dockerfile 添加自定义摄入脚本或依赖。
2. 配置参数：通过环境变量或挂载配置文件定义摄入规则。
3. 运行容器：启动容器并挂载必要的卷（如配置文件、日志目录）。

环境变量配置

支持以下环境变量调整运行参数，无默认值的变量需显式指定：

配置文件挂载

若需使用自定义配置文件（如 YAML 格式的摄入规则），可通过卷挂载覆盖默认配置路径：

bash
-v /本地配置目录:/etc/datahub/ingestion

Docker部署示例

1. 基于基础镜像构建自定义镜像（Dockerfile）

dockerfile
# 基于 DataHub Ingestion 基础镜像
FROM datahub-ingestion-base:latest

# 添加自定义摄入脚本（假设脚本位于本地 ./custom_ingestion 目录）
COPY ./custom_ingestion /app/custom_ingestion

# 安装额外依赖（如需）
COPY requirements.txt .
RUN pip install --no-cache-dir -r requirements.txt

# 设置工作目录
WORKDIR /app/custom_ingestion

# 入口命令（执行自定义摄入脚本）
CMD ["python", "main.py"]

2. 直接运行容器（docker run）

bash
docker run -d \
  --name datahub-ingestion-custom \
  -e LOG_LEVEL=DEBUG \
  -e DATAHUB_GMS_ENDPOINT=http://gms.example.com:8080 \
  -v /local/config:/etc/datahub/ingestion \  # 挂载自定义配置
  -v /local/logs:/var/log/datahub/ingestion \  # 挂载日志目录
  datahub-ingestion-base:latest

3. Docker Compose 配置示例

yaml
version: '3.8'
services:
  datahub-ingestion:
    image: datahub-ingestion-base:latest
    container_name: datahub-ingestion
    environment:
      - LOG_LEVEL=INFO
      - INGESTION_CONFIG_PATH=/etc/datahub/ingestion/custom-config.yml
      - DATAHUB_GMS_ENDPOINT=http://gms:8080
    volumes:
      - ./config:/etc/datahub/ingestion  # 本地配置目录挂载
      - ./logs:/var/log/datahub/ingestion  # 日志持久化
    restart: unless-stopped
    healthcheck:
      test: ["CMD", "curl", "-f", "http://localhost:8000/health"]  # 基础健康检查（需摄入脚本实现 /health 端点）
      interval: 30s
      timeout: 10s
      retries: 3

注意事项

1. 版本兼容性：确保基础镜像版本与 datahub-ingestion 核心库版本匹配（参考 DataHub 官方文档 的版本矩阵）。
2. 依赖冲突：自定义依赖安装时需避免与基础镜像内置依赖版本冲突（可通过 pip freeze 查看基础镜像依赖列表）。
3. 资源限制：根据数据量调整容器 CPU/内存资源（如大数据量摄入建议配置 ≥2 CPU 核心、4GB 内存）。