holsi/spark_master

Docker Spark Cluster主节点镜像

本镜像为Spark集群的主节点组件，包含以下版本信息：

• Spark版本：2.4.2
• Scala版本：2.12.8
• Hadoop版本：3.3.0

更新记录

20220107 - v0.2.1：将Hadoop版本从2.4.7升级至3.3.0，以支持S3集成、Delta Lake 0.6.1，并解决相关异常。

核心功能

1. 作为Spark集群的主节点，管理集群资源与任务调度
2. 支持Docker Swarm集群部署，可与spark_worker、spark_submit镜像配合使用
3. 解决了S3相关类缺失（如MultiObjectDeleteException）及Snappy压缩库加载异常等问题

使用场景

• 分布式大数据处理与分析任务
• Delta Lake数据湖的构建与管理
• 基于Docker Swarm的弹性Spark集群部署

配置说明

前提条件

• 掌握基础Docker命令（run、build等）
• 具备Docker Swarm环境（或AWS/Azure等云平台集群）

部署步骤

1. 拉取相关镜像

bash
docker pull docker.xuanyuan.run/holsi/spark_master:0.2.1
docker pull docker.xuanyuan.run/holsi/spark_worker:0.2.1
docker pull docker.xuanyuan.run/holsi/spark_submit:0.2.1

2. 初始化Docker Swarm

bash
docker swarm init

（将其他节点加入Swarm集群）

3. 创建overlay网络

bash
docker network create -d overlay --attachable spark-net

4. 启动主节点

bash
docker run -it --name spark-master --network spark-net -p 4080:8080 docker.xuanyuan.run/holsi/spark_master:0.2.1

5. 启动工作节点（示例）

bash
docker run -it --name spark-worker1 --network spark-net -p 4081:8081 -e MEMORY=8G -e CORES=4 docker.xuanyuan.run/holsi/spark_worker:0.2.1

6. 启动提交节点

bash
docker run -it --name spark-submit --network spark-net -p 4040:4040 docker.xuanyuan.run/holsi/spark_submit:latest bash

Docker Compose Swarm示例

yaml
version: '3.3'
services:
  spark-master:
    image: docker.xuanyuan.run/holsi/spark_master:0.2.1
    ports:
     - 4080:8080
    networks:
     - spark-net
    logging:
      driver: json-file
  spark-worker:
    image: docker.xuanyuan.run/holsi/spark_worker:0.2.1
    environment:
      CORES: '4'
      MEMORY: 8G
    ports:
     - 4081:8081
    networks:
     - spark-net
    logging:
      driver: json-file
    deploy:
      replicas: 2
  spark-submit:
    image: docker.xuanyuan.run/holsi/spark_submit:0.2.1
    environment:
      MASTER_CONTAINER_NAME: 'spark-master'
      SPARK_EXECUTOR_MEMORY: 4G
      SPARK_EXECUTOR_CORES: 2
    ports:
      - 4040:4040
    networks:
      - spark-net
    logging:
      driver: json-file
networks:
  spark-net:
    external: true

已解决异常

v0.2.1版本解决了以下异常：

• com.amazonaws.services.s3.model.MultiObjectDeleteException类缺失
• com.amazonaws.SdkBaseException类缺失
• com.amazonaws.event.ProgressListener类缺失
• Snappy压缩库加载失败（UnsatisfiedLinkError）
• Delta Lake与S3集成时的相关异常