Apache Beam Python 3.6 SDK Docker镜像文档

1. 镜像概述和主要用途

1.1 概述

Apache Beam 是一个统一的批处理和流处理数据并行处理管道模型，提供跨语言SDK和多后端执行能力。本镜像基于Python 3.6环境，集成Apache Beam Python SDK，用于简化Python开发者构建、测试和运行数据处理管道的流程。

1.2 主要用途

• 提供Python 3.6兼容的Apache Beam开发和运行环境
• 支持使用Python编写批处理（Batch）和流处理（Streaming）数据管道
• 简化数据处理管道在本地及分布式后端（如Apache Flink、Apache Spark、Google Cloud Dataflow等）的部署与执行

2. 核心功能和特性

2.1 统一数据处理模型

基于Beam模型（原Dataflow模型），提供批处理与流处理的统一抽象，支持无界数据集（流处理）和有界数据集（批处理）的一致处理逻辑。

2.2 核心概念支持

• PCollection：表示数据集合，支持有界或无界大小
• PTransform：定义数据转换操作，将输入PCollection转换为输出PCollection
• Pipeline：管理数据处理管道的有向无环图（DAG），包含PTransform和PCollection
• PipelineRunner：指定管道执行的后端环境

2.3 Python SDK特性

• 符合Python 3.6语法规范，提供简洁易用的API
• 集成Python数据生态（如Pandas、NumPy），支持复杂数据处理逻辑
• 内置常用数据转换操作（如映射、过滤、聚合、窗口等）
• 支持自定义PTransform扩展

2.4 多执行后端支持

通过PipelineRunner支持多种分布式处理后端：

• DirectRunner：本地单机运行，适用于开发调试
• DataflowRunner：提交至Google Cloud Dataflow服务
• FlinkRunner：在Apache Flink集群上执行
• SparkRunner：在Apache Spark集群上执行
• JetRunner：在Hazelcast Jet集群上执行

3. 使用场景和适用范围

3.1 目标用户

• 数据工程师：构建批处理ETL管道或实时流处理应用
• 数据科学家：使用Python进行数据预处理、特征工程等数据处理任务
• 开发人员：开发跨平台数据处理逻辑，需在不同后端环境运行

3.2 典型场景

• 日志数据实时处理与分析（流处理）
• 大规模数据集批处理转换（如数据清洗、格式转换）
• 跨平台数据处理管道开发（同一管道在Flink/Spark/Dataflow等后端运行）
• 本地原型开发与调试（使用DirectRunner快速验证逻辑）

4. 使用方法和配置说明

4.1 获取镜像

假设镜像可通过Docker Hub获取（实际使用时需替换为官方或自定义镜像源）：

docker pull apache/beam-python3.6:latest

4.2 基本使用流程

1. 本地编写Python数据处理管道代码（如pipeline.py）
2. 通过Docker挂载代码目录并运行
3. 根据需求配置Runner及后端参数

4.3 核心配置参数（环境变量）

4.4 运行本地管道（DirectRunner）

将本地代码目录挂载至容器，使用DirectRunner在本地执行：

docker run -it --rm \
  -v $(pwd):/app \
  -w /app \
  -e BEAM_RUNNER=DirectRunner \
  apache/beam-python3.6:latest \
  python pipeline.py

5. Docker部署方案示例

5.1 使用docker run运行管道

5.1.1 本地调试（DirectRunner）

执行本地wordcount.py示例（Beam官方示例）：

# 下载官方WordCount示例
curl -O [***]

# 运行示例（DirectRunner本地执行）
docker run -it --rm \
  -v $(pwd):/app \
  -w /app \
  -e BEAM_RUNNER=DirectRunner \
  apache/beam-python3.6:latest \
  python wordcount-example.py --input /app/input.txt --output /app/output

5.1.2 提交至Google Cloud Dataflow（DataflowRunner）

# 假设本地已准备Google Cloud密钥文件（key.json）
docker run -it --rm \
  -v $(pwd):/app \
  -w /app \
  -e BEAM_RUNNER=DataflowRunner \
  -e PROJECT_ID=my-gcp-project \
  -e TEMP_LOCATION=gs://my-bucket/tmp \
  -e GOOGLE_APPLICATION_CREDENTIALS=/app/key.json \
  apache/beam-python3.6:latest \
  python pipeline.py \
    --runner=DataflowRunner \
    --project=$PROJECT_ID \
    --temp_location=$TEMP_LOCATION \
    --job_name=my-dataflow-job

5.1.3 在Flink集群上运行（FlinkRunner）

假设本地已有Flink集群（通过Docker Compose启动，jobmanager地址为flink-jobmanager:8081）：

docker run -it --rm \
  --network flink-network \  # 加入Flink集群网络
  -v $(pwd):/app \
  -w /app \
  -e BEAM_RUNNER=FlinkRunner \
  -e FLINK_MASTER=flink-jobmanager:8081 \
  apache/beam-python3.6:latest \
  python pipeline.py --runner=FlinkRunner --flink_master=$FLINK_MASTER

5.2 docker-compose配置示例（集成Flink集群）

创建docker-compose.yml，定义Beam容器与Flink集群的联动：

version: '3'
services:
  beam-pipeline:
    image: apache/beam-python3.6:latest
    volumes:
      - ./pipeline:/app
    working_dir: /app
    environment:
      - BEAM_RUNNER=FlinkRunner
      - FLINK_MASTER=flink-jobmanager:8081
    depends_on:
      - flink-jobmanager
      - flink-taskmanager
    command: python pipeline.py --runner=FlinkRunner --flink_master=flink-jobmanager:8081

  # Flink集群组件（参考Flink官方Docker配置）
  flink-jobmanager:
    image: flink:1.15.0
    ports:
      - "8081:8081"
    command: jobmanager
    environment:
      - JOB_MANAGER_RPC_ADDRESS=flink-jobmanager

  flink-taskmanager:
    image: flink:1.15.0
    depends_on:
      - flink-jobmanager
    command: taskmanager
    environment:
      - JOB_MANAGER_RPC_ADDRESS=flink-jobmanager

启动服务：

docker-compose up

6. 参考与资源

• Apache Beam官方文档
• Beam Python SDK快速入门
• Beam Runner配置指南
• Apache Beam JIRA（问题跟踪）