apache/beam_java_sdk Docker Image

Apache Beam Java SDK 容器

⚠️重要通知⚠️

此容器已被弃用。已由 https://hub.docker.com/r/apache/beam_java8_sdk 或新的 https://hub.docker.com/r/apache/beam_java11_sdk 替代。

镜像概述

Apache Beam 是一个统一的模型，用于定义批处理和流处理数据并行处理管道，以及一组特定于语言的 SDK，用于构建管道和在分布式处理后端（包括 Apache Flink、Apache Spark、Google Cloud Dataflow 和 Hazelcast Jet）上执行管道的运行器。

核心功能与特性

Beam 模型

Beam 的模型源于 Google 的多个内部数据处理项目，包括 MapReduce、FlumeJava 和 Millwheel，最初被称为“Dataflow 模型”。关键概念包括：

• PCollection：表示数据集合，大小可以是有界或无界
• PTransform：表示将输入 PCollection 转换为输出 PCollection 的计算
• Pipeline：管理准备执行的 PTransforms 和 PCollections 的有向无环图
• PipelineRunner：指定管道应在何处以及如何执行

支持的 SDKs

Beam 支持多种特定于语言的 SDK，用于根据 Beam 模型编写管道。目前包含 Java、Python 和 Go 的 SDK。

支持的运行器

Beam 通过 PipelineRunners 支持在多个分布式处理后端执行程序，当前可用的运行器包括：

• DirectRunner：在本地机器上运行管道
• DataflowRunner：提交管道到 Google Cloud Dataflow
• FlinkRunner：在 Apache Flink 集群上运行管道
• SparkRunner：在 Apache Spark 集群上运行管道
• JetRunner：在 Hazelcast Jet 集群上运行管道

使用说明

⚠️ 此容器已被弃用，建议使用以下替代容器：

• https://hub.docker.com/r/apache/beam_java8_sdk
• https://hub.docker.com/r/apache/beam_java11_sdk

入门指南

要学习如何编写 Beam 管道，请参考官方网站上的快速入门指南：

• https://beam.apache.org/get-started/quickstart-java
• https://beam.apache.org/get-started/quickstart-py
• https://beam.apache.org/get-started/quickstart-go

联系我们

• 订阅或发送邮件至 *** 用户列表
• 订阅或发送邮件至 *** 开发列表
• 在 https://issues.apache.org/jira/browse/BEAM 上报告问题

更多信息

• https://beam.apache.org
• https://beam.apache.org/use/beam-overview/
• https://s.apache.org/beam-community-metrics