spydernaz/spark-master

Spark Cluster with Docker & docker-compose

镜像概述

本镜像提供了一个简单的Spark独立集群解决方案，适用于本地测试环境。通过docker-compose可快速部署包含1个master和多个worker节点的集群，帮助开发者高效进行Spark应用的开发与验证。

核心功能

1. 一键部署：通过docker-compose快速创建Spark master和worker容器
2. 资源配置：支持自定义worker节点的CPU、内存等资源分配
3. 卷挂载：通过本地目录挂载实现应用jar和数据文件在集群节点间的共享
4. 应用提交：提供spark-submit镜像，方便提交Scala Spark应用到集群运行

使用场景

• 本地Spark应用开发与测试
• Spark应用CI/CD pipeline集成验证
• 学习Spark分布式计算原理

配置说明

• 资源分配修改：编辑env/spark-worker.sh文件可调整worker节点的CPU核心数、内存等参数
• 卷挂载路径：本地/mnt/spark-apps挂载到容器/opt/spark-apps（存放应用jar），本地/mnt/spark-data挂载到容器/opt/spark-data（存放数据文件）

部署示例

构建镜像

sh
chmod +x build-images.sh
./build-images.sh

构建后将生成spark-base:2.3.1、spark-master:2.3.1、spark-worker:2.3.1、spark-submit:2.3.1四个镜像。

启动集群

sh
docker-compose up --scale spark-worker=3

默认启动1个master和3个worker节点，可通过--scale调整worker数量。

验证集群

访问以下UI地址查看集群状态：

• Spark Master：[***]
• Spark Worker 1：[***]
• Spark Worker 2：[***]
• Spark Worker 3：[***]

提交应用示例

bash
# 定义环境变量
SPARK_APPLICATION_JAR_LOCATION="/opt/spark-apps/crimes-app.jar"
SPARK_APPLICATION_MAIN_CLASS="org.mvb.applications.CrimesApp"
SPARK_SUBMIT_ARGS="--conf spark.executor.extraJavaOptions='-Dconfig-path=/opt/spark-apps/dev/config.conf'"

# 提交应用
docker run --network docker-spark-cluster_spark-network \
-v /mnt/spark-apps:/opt/spark-apps \
--env SPARK_APPLICATION_JAR_LOCATION=$SPARK_APPLICATION_JAR_LOCATION \
--env SPARK_APPLICATION_MAIN_CLASS=$SPARK_APPLICATION_MAIN_CLASS \
spark-submit:2.3.1