bde2020/spark-master

Spark Master 镜像文档

镜像概述

该镜像为Apache Spark独立集群（Standalone Cluster）提供主节点（Master）功能，是构建Spark集群的核心组件之一。主节点负责管理集群中的工作节点（Worker Nodes）、调度任务执行、分配计算资源，并监控集群整体运行状态。

核心功能与特性

• 集群管理：负责注册和管理工作节点，维护集群节点状态
• 任务调度：接收并调度Spark应用程序任务，分配资源至工作节点
• 资源分配：管理集群中的CPU、内存等计算资源
• 独立模式支持：基于Spark独立集群模式运行，无需依赖YARN或Mesos
• 兼容性：与Apache Spark生态系统组件兼容，支持Spark应用程序提交

使用场景与适用范围

• 开发与测试环境中的Spark集群搭建
• 小型到中型规模的Spark集群部署
• 学习和演示Apache Spark分布式计算功能
• 需要快速部署独立Spark集群的场景

使用方法与配置说明

基本运行方式

使用以下命令启动Spark Master容器：

bash
docker run -d --name spark-master -p 8080:8080 -p 7077:7077 bigdataeurope/spark-master

端口说明

• 8080：Spark Master Web UI端口，用于监控集群状态
• 7077：Spark Master通信端口，供工作节点和应用程序连接

环境变量配置

可通过环境变量自定义Master节点配置，常用变量包括：

• SPARK_MASTER_PORT：Master通信端口，默认7077
• SPARK_MASTER_WEBUI_PORT：Web UI端口，默认8080
• SPARK_MASTER_HOST：Master节点主机地址，默认容器内部IP

示例：指定自定义端口

bash
docker run -d --name spark-master \
  -p 8081:8081 -p 7078:7078 \
  -e SPARK_MASTER_PORT=7078 \
  -e SPARK_MASTER_WEBUI_PORT=8081 \
  bigdataeurope/spark-master

Docker Compose配置示例

以下是使用Docker Compose部署包含Master和Worker节点的Spark集群示例：

yaml
version: '3'
services:
  spark-master:
    image: bigdataeurope/spark-master
    container_name: spark-master
    ports:
      - "8080:8080"
      - "7077:7077"
    environment:
      - SPARK_MASTER_HOST=spark-master
    networks:
      - spark-network

  spark-worker-1:
    image: bigdataeurope/spark-worker
    container_name: spark-worker-1
    depends_on:
      - spark-master
    environment:
      - SPARK_MASTER=spark://spark-master:7077
      - SPARK_WORKER_CORES=2
      - SPARK_WORKER_MEMORY=2g
    networks:
      - spark-network

networks:
  spark-network:
    driver: bridge

启动集群：

bash
docker-compose up -d

参考链接

• https://github.com/big-data-europe/docker-spark