snowplow/lake-loader-azure

Snowplow Azure事件加载器镜像

镜像概述

本镜像提供了Snowplow生态系统中的事件加载功能，专门用于从Azure数据管道中提取事件数据，并将其转换为Delta和Iceberg格式进行存储。它是Snowplow数据处理流程的关键组件，旨在简化Azure环境下事件数据的加载与格式转换过程。

核心功能和特性

• 多格式支持：支持将事件数据加载为Delta和Iceberg两种流行的列式存储格式
• Azure集成：原生支持从Azure数据管道中读取事件数据
• 数据处理：内置数据转换逻辑，确保事件数据符合目标格式要求
• 兼容性：与Snowplow事件收集管道无缝集成

使用场景和适用范围

• 构建基于Azure的事件驱动数据湖
• 为数据分析和机器学习准备结构化事件数据
• 需要将Snowplow收集的事件数据存储为Delta或Iceberg格式的场景
• 数据仓库ETL流程中的事件数据加载环节

使用方法和配置说明

基本使用（Docker Run）

bash
docker run -d \
  --name snowplow-azure-loader \
  -e AZURE_STORAGE_CONNECTION_STRING="DefaultEndpointsProtocol=https;AccountName=youraccount;AccountKey=yourkey;EndpointSuffix=core.windows.net" \
  -e TARGET_FORMAT="delta" \  # 可选值: delta, iceberg
  -e INPUT_PIPELINE_PATH="/azure/pipeline/events" \
  -e OUTPUT_STORAGE_PATH="/data/output" \
  snowplow/azure-event-loader:latest

环境变量配置

Docker Compose示例

yaml
version: '3'
services:
  snowplow-loader:
    image: snowplow/azure-event-loader:latest
    container_name: snowplow-azure-loader
    environment:
      - AZURE_STORAGE_CONNECTION_STRING=DefaultEndpointsProtocol=https;AccountName=youraccount;AccountKey=yourkey;EndpointSuffix=core.windows.net
      - TARGET_FORMAT=iceberg
      - INPUT_PIPELINE_PATH=/azure/pipeline/events
      - OUTPUT_STORAGE_PATH=/data/iceberg-events
      - BATCH_SIZE=5000
      - LOG_LEVEL=INFO
    volumes:
      - ./output:/data/output
    restart: unless-stopped

注意事项

• 确保Azure存储账户具有足够的读写权限
• Delta和Iceberg格式可能需要特定的存储系统支持（如Azure Data Lake Storage Gen2）
• 对于大规模数据加载，建议调整BATCH_SIZE参数以优化性能