snowplow/lake-loader-gcp

Snowplow GCP Delta/Iceberg事件加载器镜像

镜像概述

该镜像为Snowplow数据处理生态的组件之一，专为GCP（Google Cloud Platform）环境设计，用于从Snowplow GCP数据管道中提取事件数据，并将其转换为Delta Lake和Apache Iceberg格式，支持数据湖集成与后续分析处理。

核心功能与特性

核心功能

• 多格式支持：将原始事件数据转换为Delta Lake和Apache Iceberg两种开放数据湖格式
• GCP原生集成：无缝对接GCP数据管道组件（如Pub/Sub、Dataflow、Cloud Storage）
• 事件数据处理：支持Snowplow标准事件格式（如enriched events）的解析与转换
• 可配置输出：灵活定义Delta和Iceberg数据的存储路径、分区策略及表属性

关键特性

• 兼容Snowplow开源数据收集管道
• 支持批处理与流处理两种运行模式
• 内置数据一致性校验机制
• 可通过环境变量或配置文件自定义处理规则

使用场景与适用范围

典型使用场景

• 数据湖构建：将GCP中的Snowplow事件数据统一入湖，形成Delta/Iceberg格式的标准化数据资产
• 多引擎兼容：为Spark、Flink等计算引擎提供统一的事件数据访问接口
• 长期数据存储：利用Delta/Iceberg的ACID特性和版本控制，实现事件数据的可追溯管理

适用范围

• GCP云环境下的Snowplow数据管道用户
• 采用Delta Lake或Iceberg构建数据湖的企业
• 需要对事件数据进行标准化存储与分析的团队

使用方法与配置说明

基本使用（Docker Run）

bash
docker run -d \
  --name snowplow-gcp-loader \
  -e GCP_PROJECT=my-gcp-project \
  -e INPUT_SUBSCRIPTION=projects/my-gcp-project/subscriptions/snowplow-events-sub \
  -e DELTA_OUTPUT_PATH=gs://my-datalake/delta/snowplow-events \
  -e ICEBERG_OUTPUT_PATH=gs://my-datalake/iceberg/snowplow-events \
  -e RUN_MODE=streaming \
  snowplow/gcp-delta-iceberg-loader:latest

环境变量配置

注意：DELTA_OUTPUT_PATH和ICEBERG_OUTPUT_PATH至少需配置一项，否则容器将无法启动。

高级配置（配置文件）

通过挂载外部配置文件实现更精细的控制：

bash
docker run -d \
  --name snowplow-gcp-loader \
  -v /local/config:/app/config \
  -e CONFIG_PATH=/app/config/custom-config.yaml \
  snowplow/gcp-delta-iceberg-loader:latest

配置文件（YAML格式）示例：

yaml
gcp:
  project: my-gcp-project
  credentials_path: /secrets/gcp-key.json
input:
  subscription: projects/my-gcp-project/subscriptions/events-sub
  format: snowplow-enriched-json
output:
  delta:
    path: gs://datalake/delta/events
    partition_columns: [event_date, event_type]
    table_properties:
      delta.logRetentionDuration: "30 days"
      delta.deletedFileRetentionDuration: "7 days"
  iceberg:
    path: gs://datalake/iceberg/events
    partition_spec: event_date:date, event_type:string
    properties:
      write.metadata.delete-after-commit.enabled: "true"
processing:
  mode: streaming
  checkpoint_location: gs://datalake/checkpoints/snowplow-loader

数据处理流程

1. 从GCP Pub/Sub订阅接收Snowplow事件数据
2. 解析事件元数据并进行格式校验
3. 根据配置将数据转换为Delta或Iceberg格式
4. 写入指定的GCS路径并更新表元数据
5. 输出处理指标至GCP Monitoring（可选）