jeffharwell/spark

spark

镜像概述

本镜像为Apache Spark的Docker镜像，基于Alpine系统构建，是对Google Container Registry（gcr.io）Spark镜像的更新版本。镜像升级至Spark 2.3.2稳定版，移除了Google Cloud Platform（GCP）相关代码，可作为原GCR镜像的替代方案，支持Spark standalone模式的灵活配置与部署。

核心功能

1. 版本更新：升级Spark至2.3.2稳定版，兼容原GCR镜像的使用场景。
2. 灵活配置：通过环境变量（以spark.开头）自动生成spark-defaults.conf文件，无需修改镜像即可配置Spark参数。
3. 便捷部署：提供start-master和start-worker初始化脚本，支持快速启动Spark master和worker节点。
4. Compose支持：包含Docker Compose配置示例，可一键启动包含1个master和2个worker的Spark集群。

使用场景

• Spark standalone模式的集群部署与测试。
• 大数据处理任务（如数据计算、数据分析、机器学习等）的运行环境。
• 开发人员快速搭建Spark开发与测试环境。

配置说明

通过设置环境变量配置Spark参数，所有以spark.开头的环境变量会被写入/opt/spark/spark-defaults.conf文件。例如：

• spark.master: 指定Spark master地址（如spark://master:7077）。
• spark.executor.memory: 设置executor内存（如2g）。
• spark.driver.memory: 设置driver内存（如1g）。

部署示例

Docker Run启动Master

bash
docker run -d --name spark-master -p 7077:7077 -p 8080:8080 jeffharwell/spark start-master

Docker Run启动Worker（连接到Master）

bash
docker run -d --name spark-worker --link spark-master:master jeffharwell/spark start-worker spark://master:7077

Docker Compose部署集群

1. 创建docker-compose.yml文件：

yaml
version: '3'
services:
  master:
    image: jeffharwell/spark
    command: start-master
    ports:
      - "7077:7077"
      - "8080:8080"
  worker1:
    image: jeffharwell/spark
    command: start-worker spark://master:7077
    links:
      - master
  worker2:
    image: jeffharwell/spark
    command: start-worker spark://master:7077
    links:
      - master

2. 启动集群：

bash
docker-compose up -d

3. 访问Spark Web UI：http://localhost:8080查看集群状态。