bde2020/spark-worker

Spark worker 镜像文档

镜像概述

Spark worker镜像是Apache Spark分布式计算框架的工作节点组件，专为构建Spark独立集群设计。该镜像需配合Spark master节点使用，负责接收主节点分配的计算任务并执行，是Spark集群中处理数据计算的核心执行单元。

核心功能和特性

• 作为Spark独立集群的工作节点，接收并执行master节点分配的计算任务
• 支持与集群中其他worker节点协同工作，实现分布式数据处理
• 兼容Apache Spark生态系统，可运行各类Spark应用程序和作业
• 轻量级设计，易于部署和集成到现有Spark集群环境

使用场景

• 构建Spark独立集群进行大数据处理和分析
• 运行分布式机器学习任务和数据挖掘作业
• 处理大规模数据集的批处理和流处理任务
• 开发和测试Spark应用程序的集群环境

使用方法和配置说明

基本部署

使用以下命令启动Spark worker节点：

bash
docker run -d --name spark-worker bigdataeurope/spark-worker:latest

连接到Spark Master

需通过环境变量指定Spark master的地址，示例：

bash
docker run -d --name spark-worker \
  -e SPARK_MASTER_URL=spark://spark-master:7077 \
  bigdataeurope/spark-worker:latest

Docker Compose配置示例

以下是包含master和worker的Spark集群部署示例：

yaml
version: '3'
services:
  spark-master:
    image: bigdataeurope/spark-master:latest
    ports:
      - "8080:8080"
      - "7077:7077"
    environment:
      - INIT_DAEMON_STEP=setup_spark
  spark-worker:
    image: bigdataeurope/spark-worker:latest
    depends_on:
      - spark-master
    environment:
      - SPARK_MASTER_URL=spark://spark-master:7077
      - SPARK_WORKER_CORES=2
      - SPARK_WORKER_MEMORY=2g

环境变量配置

更多信息

详细使用说明和配置选项，请参考项目GitHub仓库：https://github.com/big-data-europe/docker-spark