jarzamendia/spark-worker

Spark

镜像概述和主要用途

该镜像为Docker Swarm环境提供Spark集群部署方案，包含Master和Worker组件。主要用于进行Spark集群的性能测试，支持通过多种配置和拓扑结构验证集群性能表现。后续将添加更多测试应用，以丰富测试场景。

核心功能和特性

• 分离的Master和Worker镜像，便于集群角色管理
• 支持Docker Swarm部署模式，适配容器编排环境
• 包含多种语言的Spark示例应用，方便快速测试
• 提供HA模式部署配置（配合Zookeeper）
• 可灵活配置集群资源（CPU核心、内存等）
• 支持自定义Spark daemon Java选项

使用场景和适用范围

• Spark集群性能测试与评估
• 不同配置参数下的集群性能对比
• 多种拓扑结构的Spark集群部署验证
• Docker Swarm环境中Spark集群的快速搭建与测试

镜像信息

可用镜像

• https://hub.docker.com/r/jarzamendia/spark-master
• https://hub.docker.com/r/jarzamendia/spark-worker

Dockerfiles

• https://raw.githubusercontent.com/Jarzamendia/spark/master/Dockerfile-base
• https://raw.githubusercontent.com/Jarzamendia/spark/master/Dockerfile-worker
• https://raw.githubusercontent.com/Jarzamendia/spark/master/Dockerfile-master

部署配置

Docker Compose部署示例

以下是Docker Swarm环境下的Spark集群部署配置示例，更多示例（包括Zookeeper HA模式）可在docker目录中找到：

yaml
version: "3.7"

services:
  spark-master:
    image: jarzamendia/spark-master:staging
    ports:
      - "8080:8080"  # Master Web UI端口
      - "7077:7077"  # Master通信端口
    networks:
      spark-network:
    environment:
      - INIT_DAEMON_STEP=setup_spark  # 初始化步骤
      - SPARK_PUBLIC_DNS=spark.local  # 公共DNS
      - SPARK_MASTER_HOST=spark-master  # Master主机名
    deploy:
      mode: global
      placement:
        constraints:
          - "node.role==manager"  # 仅部署在manager节点

  spark-worker:
    image: jarzamendia/spark-worker:staging
    hostname: "{{.Node.Hostname}}"  # 使用节点主机名
    ports:
      - "8081:8081"  # Worker Web UI端口
    environment:
      - SPARK_MASTER=spark://spark-master:7077  # Master地址
      - SPARK_WORKER_CORES=1  # Worker可用CPU核心数
      - SPARK_WORKER_MEMORY=1G  # Worker可用内存
      - SPARK_DRIVER_MEMORY=128m  # Driver内存
      - SPARK_EXECUTOR_MEMORY=256m  # Executor内存
      - SPARK_PUBLIC_DNS={{.Node.Hostname}}-worker.spark.local  # Worker公共DNS
      - SPARK_DAEMON_JAVA_OPTS=-Dspark.metrics.conf=/opt/spark/conf/metrics.properties  # Java选项
    deploy:
      mode: global
      placement:
        constraints:
          - "node.role==worker"  # 仅部署在worker节点
    networks: 
      spark-network:

networks:
  spark-network:

环境变量说明

Master节点环境变量

• INIT_DAEMON_STEP: 初始化步骤，默认为setup_spark
• SPARK_PUBLIC_DNS: 公共DNS名称
• SPARK_MASTER_HOST: Master节点主机名

Worker节点环境变量

• SPARK_MASTER: Master节点地址，格式为spark://<master-host>:7077
• SPARK_WORKER_CORES: 分配给Worker的CPU核心数
• SPARK_WORKER_MEMORY: 分配给Worker的内存总量
• SPARK_DRIVER_MEMORY: Driver进程内存
• SPARK_EXECUTOR_MEMORY: Executor进程内存
• SPARK_PUBLIC_DNS: Worker节点公共DNS名称
• SPARK_DAEMON_JAVA_OPTS: Spark daemon的Java选项

使用示例

所有Spark容器中，/opt/spark/examples目录包含多种语言的示例应用。可通过spark-submit命令执行这些示例。

运行Pi计算示例

1. 进入Master容器：

   bash
   docker exec -it <spark-master-container-id> /bin/bash
   

2. 执行Python示例计算Pi值：

   bash
   spark-submit --master spark://spark-master:7077 /opt/spark/examples/src/main/python/pi.py 1000
   

3. 测试建议：

   • 修改命令末尾的数值（当前为1000）调整计算规模
   • 改变可用Worker节点数量，观察性能变化
   • 调整环境变量中的资源配置（如SPARK_WORKER_CORES、SPARK_WORKER_MEMORY）进行性能对比