Apache Spark Standalone Cluster on Docker - JupyterLab 镜像

!docker-pull !docker-size

1. 镜像概述和主要用途

本镜像提供基于 Docker 的 Apache Spark 独立集群环境，并集成 JupyterLab 作为交互式操作界面。其核心用途是帮助用户快速构建包含 Spark 计算引擎和 JupyterLab 交互界面的一体化开发环境，无需手动配置复杂的 Spark 集群和依赖，适用于数据分析、机器学***模型开发、Spark 应用测试等场景。

2. 核心功能和特性

• 集成 JupyterLab 交互界面：提供可视化操作环境，支持通过浏览器直接编写、运行 Spark 任务（如 PySpark、Scala Spark 代码）。
• Spark 独立集群模式：内置 Spark Standalone 集群配置，支持单机或多节点扩展（需配合 Docker Compose 或容器编排工具）。
• Docker 化快速部署：基于容器化技术，一键启动完整环境，避免系统依赖冲突，简化环境配置流程。
• 预配置 Spark 生态工具：包含 PySpark、Spark SQL 等核心组件，支持 Python、Scala 等多语言开发。
• 灵活的资源配置：支持通过环境变量自定义 Spark 驱动/执行器内存、CPU 资源等参数。
• 数据持久化支持：可挂载本地目录至容器，实现工作文件和数据的持久化存储。

3. 使用场景和适用范围

• 数据科学家日常分析：通过 JupyterLab 交互式编写代码，利用 Spark 处理大规模数据集。
• Spark 应用开发测试：在本地快速搭建集群环境，验证 Spark 作业逻辑和性能。
• 教学与培训场景：用于 Spark 技术教学，让学员无需复杂配置即可上手实践。
• 小型团队数据处理：作为轻量级计算平台，支持小批量数据的分布式处理需求。

4. 使用方法和配置说明

4.1 前提条件

• 已安装 Docker Engine（20.10+ 版本推荐）。
• 若需多节点集群，需安装 Docker Compose。

4.2 镜像拉取

docker pull andreper/jupyterlab

4.3 快速启动（单节点模式）

通过以下命令启动包含 Spark 集群和 JupyterLab 的容器：

docker run -d \
  --name spark-jupyter \
  -p 8888:8888 \  # JupyterLab 访问端口
  -p 4040:4040 \  # Spark UI 端口（任务运行时开放）
  -v /本地工作目录:/home/jovyan/work \  # 挂载本地目录至容器工作区
  -e SPARK_DRIVER_MEMORY=2g \  # 设置 Spark 驱动内存
  -e SPARK_EXECUTOR_MEMORY=4g \  # 设置 Spark 执行器内存
  andreper/jupyterlab

参数说明：

• -p 8888:8888：映射 JupyterLab 端口（默认 8888），外部通过 http://localhost:8888 访问。
• -v /本地工作目录:/home/jovyan/work：将本地目录挂载至容器内 JupyterLab 的工作目录（/home/jovyan/work），实现文件持久化。
• -e SPARK_DRIVER_MEMORY：设置 Spark 驱动程序内存（默认 1g）。
• -e SPARK_EXECUTOR_MEMORY：设置 Spark 执行器内存（默认 2g）。

4.4 Docker Compose 配置（多节点集群示例）

创建 docker-compose.yml 文件，配置 Spark 主节点（master）和工作节点（worker）：

version: '3'
services:
  jupyterlab:
    image: andreper/jupyterlab
    container_name: spark-jupyter
    ports:
      - "8888:8888"  # JupyterLab 端口
      - "4040:4040"  # Spark UI 端口
    volumes:
      - ./workspace:/home/jovyan/work  # 本地工作区挂载
    environment:
      - SPARK_DRIVER_MEMORY=2g
      - SPARK_EXECUTOR_MEMORY=4g
      - SPARK_MASTER=spark://spark-master:7077  # 连接 Spark 主节点
    depends_on:
      - spark-master
      - spark-worker-1

  spark-master:
    image: andreper/jupyterlab  # 复用镜像作为 master 节点
    container_name: spark-master
    command: spark-class org.apache.spark.deploy.master.Master
    ports:
      - "7077:7077"  # Spark Master 端口
      - "8080:8080"  # Spark Master UI 端口
    environment:
      - SPARK_MASTER_HOST=spark-master

  spark-worker-1:
    image: andreper/jupyterlab  # 复用镜像作为 worker 节点
    container_name: spark-worker-1
    command: spark-class org.apache.spark.deploy.worker.Worker spark://spark-master:7077
    environment:
      - SPARK_WORKER_MEMORY=4g  # Worker 节点内存
      - SPARK_WORKER_CORES=2  # Worker 节点 CPU 核心数
    depends_on:
      - spark-master

启动集群：

docker-compose up -d

4.5 访问 JupyterLab 界面

1. 查看容器日志获取 JupyterLab 访问 token：

   docker logs spark-jupyter
   

   日志中会包含类似以下内容：

   [I 12:34:56.789 LabApp] JupyterLab application directory is /opt/conda/share/jupyter/lab
   [I 12:34:56.790 LabApp] Token: abcdef1234567890abcdef1234567890
   [I 12:34:56.790 LabApp] Use Control-C to stop this server and shut down all kernels (twice to skip confirmation).
   [C 12:34:56.795 LabApp] 
   
       To access the server, open this file in a browser:
           file:///home/jovyan/.local/share/jupyter/runtime/jpserver-1-open.html
       Or copy and paste one of these URLs:
           [***]
   

2. 在浏览器中访问日志中的 URL（如 http://localhost:8888/lab?token=abcdef1234567890abcdef1234567890），即可进入 JupyterLab 界面。

5. 配置参数和环境变量

5.1 核心环境变量

5.2 常用端口映射

6. 注意事项

• 多节点集群配置需通过 SPARK_MASTER 环境变量指定 Master 地址，Worker 节点需通过 spark-class org.apache.spark.deploy.worker.Worker 命令启动。
• 数据持久化建议通过 -v 参数挂载本地目录，避免容器删除后数据丢失。
• 如需更高性能，可根据宿主机资源调整 SPARK_DRIVER_MEMORY、SPARK_EXECUTOR_MEMORY 等参数。
• 更多高级配置（如 Spark 配置文件自定义、依赖库安装）可参考项目官方文档：GitHub 项目地址。