snowplow/bigquery-loader-pubsub

Snowplow BigQuery加载器镜像

镜像概述

该Docker镜像提供Snowplow加载器功能，专门用于从Google Cloud Platform (GCP) 数据管道读取事件数据并加载到BigQuery数据仓库。作为Snowplow数据处理生态的重要组件，它简化了事件数据从GCP管道（如Pub/Sub、Cloud Storage）到BigQuery的集成流程，支持高效的数据传输与存储。

核心功能与特性

• GCP生态集成：无缝对接GCP数据管道，支持从Pub/Sub主题、Cloud Storage桶等GCP服务读取事件数据
• BigQuery数据加载：将事件数据批量或流式加载加载到BigQuery表，支持自动表结构适配
• 数据处理能力：内置数据格式转换功能，确保事件数据符合BigQuery表结构要求
• 可靠性保障：支持断点续传和失败重试机制，确保数据加载的完整性
• 灵活配置：通过环境变量或配置文件自定义加载参数，适应不同业务场景需求

使用场景

• 从Snowplow Tracker收集的用户行为事件数据，通过GCP管道传输后加载到BigQuery进行分析
• 构建基于BigQuery的数据仓库，整合GCP生态中的多源事件数据
• 实时或近实时同步GCP管道事件数据至BigQuery，支持业务监控与实时分析
• 数据湖到数据仓库ETL流程中，作为事件数据加载的关键组件

使用方法

基本使用（docker run）

bash
docker run -d \
  --name snowplow-bigquery-loader \
  -e GCP_PROJECT_ID="your-gcp-project-id" \
  -e BIGQUERY_DATASET="your-dataset" \
  -e BIGQUERY_TABLE="your-table" \
  -e INPUT_SOURCE="pubsub" \
  -e PUBSUB_TOPIC="projects/your-project/topics/your-topic" \
  -v /path/to/gcp-credentials.json:/app/credentials.json \
  -e GOOGLE_APPLICATION_CREDENTIALS="/app/credentials.json" \
  snowplow/bigquery-loader:latest

环境变量配置

docker-compose配置示例

yaml
version: '3'
services:
  snowplow-loader:
    image: snowplow/bigquery-loader:latest
    container_name: snowplow-bigquery-loader
    environment:
      - GCP_PROJECT_ID=my-gcp-project
      - BIGQUERY_DATASET=snowplow_events
      - BIGQUERY_TABLE=page_views
      - INPUT_SOURCE=pubsub
      - PUBSUB_TOPIC=projects/my-project/topics/snowplow-events
      - GOOGLE_APPLICATION_CREDENTIALS=/app/credentials.json
    volumes:
      - ./gcp-credentials.json:/app/credentials.json
    restart: unless-stopped

注意事项

• 确保GCP凭据文件具有足够权限（BigQuery数据写入、Pub/Sub订阅或GCS读取权限）
• 根据数据量调整加载批处理大小或流处理配置，避免性能问题
• 首次运行时，BigQuery目标表需已存在或配置自动创建表选项