热门搜索:
apache/beam_go_sdk
Apache Beam Go SDK的工作器容器镜像，用于运行Beam批处理和流处理数据并行处理管道的工作节点，支持在多种分布式后端执行。
让 AI 帮你使用轩辕镜像？ · 展开查看说明
如果你使用 DeepSeek、元宝 AI、Copilot、ChatGPT 等 AI 工具，协助配置轩辕镜像、编写 docker pull 命令、修改 Docker Compose 镜像地址、配置镜像加速、排查镜像拉取失败、分析报错日志等问题，请先让 AI 阅读并遵守轩辕镜像的规则文档。
只需在 AI 对话中先发送下面这句话即可：
请先完整阅读并严格遵守以下文档中的全部规则与要求：
https://xuanyuan.cloud/agents.md
在未充分阅读并理解该文档前，不要生成任何命令、配置、修改建议、故障排查方案或技术回答。后续所有输出都必须严格以该文档中的规范为最高优先级执行。查看 agents.md 用法指南与完整示范。国内用户首推 元宝 AI、DeepSeek 的深度思考模式，不推荐豆包 AI；Cursor 等编辑器可在对话 @ 该链接，或加入 User Rules。 若 AI 无法访问外链，可 打开说明文档 复制全文粘贴。文档会随站点更新，复制内容可能过期，建议定期检查。
Apache Beam Go SDK 工作器容器镜像
概述
Apache Beam是一个统一的模型，用于定义批处理和流处理数据并行处理管道，以及一组特定于语言的SDK和用于在分布式处理后端执行管道的Runner。本容器镜像提供Apache Beam Go SDK的工作器环境，作为运行Beam管道的工作节点，支持Go语言编写的批处理与流处理任务在分布式系统中执行。
核心功能与特性
- 统一数据处理模型：基于Beam模型（演进自MapReduce、FlumeJava和Millwheel），支持批处理与流处理数据并行处理，提供一致的编程接口。
- Go SDK适配：专为Apache Beam Go SDK设计的工作器运行时环境，包含执行Go语言管道所需的依赖和执行框架。
- 多后端兼容性：支持与多种分布式处理Runner集成，包括本地运行的DirectRunner、Google Cloud Dataflow的DataflowRunner、Apache Flink集群的FlinkRunner、Apache Spark集群的SparkRunner及Hazelcast Jet集群的JetRunner。
- 并行计算支持：作为分布式管道的工作节点，负责具体数据处理任务，支持大规模并行数据处理。
使用场景与适用范围
- Go语言Beam管道部署：适用于使用Apache Beam Go SDK开发的数据处理管道的容器化执行环境。
- 分布式数据处理：支持在本地或集群环境中运行批处理与流处理任务，满足大规模数据处理需求。
- 跨平台运行：可部署于本地Docker环境、私有容器集群或公有云容器服务（如GKE、EKS）。
- 开发者友好：供终端用户专注于管道逻辑开发，简化底层运行环境配置，提升开发效率。
使用方法与配置说明
前提条件
- Docker引擎（19.03+版本）
- 熟悉Apache Beam Go SDK管道开发（参考Beam Go快速入门）
- 目标执行后端环境（如Flink/Spark集群，本地运行无需额外集群）
获取镜像
拉取最新版本镜像：
bashdocker pull apache/beam_go_sdk:latest
指定版本拉取（例如2.40.0）：
bashdocker pull apache/beam_go_sdk:2.40.0
运行示例
本地运行（DirectRunner）
适用于开发测试，直接在容器内运行管道：
bashdocker run -it --rm \ -v /本地管道代码目录:/pipeline \ apache/beam_go_sdk:latest \ go run /pipeline/main.go --runner=DirectRunner
说明：
/本地管道代码目录需替换为本地Go语言Beam管道代码所在路径，通过卷挂载至容器内执行。
集群运行（以FlinkRunner为例）
连接外部Flink集群执行管道：
bashdocker run -it --rm \ -e FLINK_MASTER=flink-jobmanager:8081 \ -v /本地管道代码目录:/pipeline \ apache/beam_go_sdk:latest \ go run /pipeline/main.go --runner=FlinkRunner --flinkMaster=flink-jobmanager:8081
主要配置参数
| 参数名 | 描述 | 示例值 |
|---|---|---|
--runner | 指定管道执行器类型 | DirectRunner, FlinkRunner, DataflowRunner |
--project | GCP项目ID（DataflowRunner必填） | my-gcp-project-123 |
--region | 云服务区域（DataflowRunner必填） | us-central1 |
--flinkMaster | Flink集群JobManager地址 | flink-jobmanager:8081 |
--sparkMaster | Spark集群Master地址 | spark://spark-master:7077 |
更多信息
- 官方文档：Apache Beam官网
- Go SDK快速入门：Beam Go Quickstart
- Runner能力矩阵：Beam Runner文档
- 社区支持：用户邮件列表***，开发邮件列表***，问题追踪JIRA
镜像拉取方式
您可以使用以下命令拉取该镜像。请将 <标签> 替换为具体的标签版本。如需查看所有可用标签版本，请访问 标签列表页面。
轩辕镜像加速拉取命令点我查看更多 beam_go_sdk 镜像标签
docker pull docker.xuanyuan.run/apache/beam_go_sdk:<标签>
DockerHub 原生拉取命令
docker pull apache/beam_go_sdk:<标签>
更多 beam_go_sdk 镜像推荐
apache/airflow
Apache 软件基金会镜像
Apache Airflow是一个开源的工作流编排平台，旨在通过编程方式（主要使用Python）定义、调度和监控复杂工作流，它以有向无环图（DAG）形式管理任务依赖关系，支持灵活的调度策略（如基于时间、事件或依赖），提供直观的Web界面用于任务状态监控与管理，具备高度可扩展性，可集成多种数据处理工具、云服务及外部系统，广泛应用于数据管道构建、ETL流程自动化、机器学习工作流编排等场景，帮助用户高效管理和执行复杂的任务流程。
630 次收藏10亿+ 次下载
14 天前更新
apache/superset
Apache 软件基金会镜像
Apache Superset是一款开源的数据可视化与数据探索平台，它支持连接多种数据源，允许用户通过直观界面创建交互式仪表盘、图表及报告，无需复杂编程即可进行数据查询与分析，适用于从非技术人员到数据工程师的各类用户，帮助团队高效洞察数据价值，是企业级数据驱动决策的强大工具。
328 次收藏5亿+ 次下载
8 天前更新
apache/tika
Apache 软件基金会镜像
Apache Tika Server的容器镜像，提供内容检测、元数据及文本提取的HTTP服务，便于便捷部署和集成到应用系统中。
55 次收藏5000万+ 次下载
8 天前更新
apache/kafka
Apache 软件基金会镜像
Apache Kafka是一个开源的分布式流处理平台，旨在提供高吞吐量、低延迟的实时数据流传递服务，支持发布/订阅消息模式，能够持久化存储海量数据流并确保数据可靠性，具备水平扩展能力和容错机制，广泛应用于日志收集、事件驱动架构、实时数据集成及流处理系统等场景，为企业级应用提供高效、稳定的数据流传输与处理解决方案。
211 次收藏1000万+ 次下载
14 天前更新
apache/apisix
Apache 软件基金会镜像
Apache APISIX是一款动态、实时、高性能的云原生API网关，提供负载均衡、动态上游、金丝雀发布、熔断、认证、可观测性等丰富流量管理功能，适用于处理传统南北向流量及服务间东西向流量。
103 次收藏1000万+ 次下载
8 天前更新
apache/skywalking-oap-server
Apache 软件基金会镜像
Apache SkyWalking OAP Server是开源分布式可观测性平台Apache SkyWalking的核心组件，负责从代理、服务网格等数据源收集指标、追踪和日志数据，通过分析处理后存储于支持多种数据库的后端，并提供查询接口为UI展示及告警功能提供数据支持，助力用户实时监控分布式系统运行状态、诊断性能瓶颈、保障服务稳定性与可靠性。
168 次收藏1000万+ 次下载
2 个月前更新
镜像拉取常见问题
功能
错误码
用户好评
来自真实用户的反馈，见证轩辕镜像的优质服务
oldzhang
运维工程师
Linux服务器
5
"Docker访问体验非常流畅，大镜像也能快速完成下载。"