inseefrlab/onyxia-jupyter-pyspark

Jupyter Lab PySpark 镜像文档

镜像概述

Jupyter Lab PySpark 镜像是一个集成了 Python 环境与 PySpark 的 Jupyter Lab 服务镜像。该镜像旨在提供开箱即用的交互式开发环境，方便用户通过 Jupyter Lab 界面进行 Python 编程、数据处理及 PySpark 分布式计算相关的开发与分析工作。

核心功能和特性

1. Jupyter Lab 基础功能

• 提供交互式笔记本（Notebook）环境，支持代码实时运行与结果展示
• 集成多语言代码编辑器，支持语法高亮、自动补全及代码调试
• 内置文件浏览器、终端工具及扩展管理功能，满足一站式开发需求

2. Python 环境支持

• 预装 Python 环境（默认支持 Python 3.8+，具体版本可通过配置指定）
• 包含数据分析常用库（如 NumPy、Pandas、Matplotlib 等），无需额外安装
• 支持 Python 包管理工具（pip），可按需安装自定义依赖

3. PySpark 深度集成

• 内置 PySpark 环境，支持 Spark 分布式数据处理 API
• 自动配置 Spark 与 Jupyter Lab 集成，无需手动设置 Spark 环境变量
• 支持本地模式及集群模式（可通过配置连接外部 Spark 集群）

4. 可扩展性与灵活性

• 支持自定义 Python 及 PySpark 版本（通过环境变量指定）
• 允许挂载外部数据卷，实现数据持久化与共享
• 支持通过环境变量或配置文件调整服务参数

使用场景和适用范围

适用用户

• 数据科学家：进行大规模数据集分析与建模
• 机器学习工程师：开发基于 PySpark 的分布式机器学习模型
• 大数据开发者：调试 PySpark 应用程序或学习 Spark 生态
• 教育工作者：在教学中提供统一的 PySpark 实践环境

典型场景

• 交互式数据分析：通过 Jupyter Notebook 实时处理和可视化数据
• PySpark 应用原型开发：快速验证分布式数据处理逻辑
• 机器学习模型训练：利用 PySpark MLlib 构建分布式训练流程
• 教学与培训：提供无需复杂配置的 PySpark 学习环境

使用方法和配置说明

前提条件

• 已安装 Docker Engine（推荐版本 20.10+）
• 已安装 Docker Compose（可选，用于多容器部署）
• 网络环境可访问 Docker 镜像仓库（如 Docker Hub）

获取镜像

假设镜像名称为 jupyterlab-pyspark，可通过以下命令从 Docker Hub 拉取（具体镜像名称请以实际仓库为准）：

bash
docker pull jupyterlab-pyspark:latest

基本使用

1. 启动基础服务

通过 docker run 命令启动服务，映射端口并设置访问令牌：

bash
docker run -d \
  --name jupyterlab-pyspark \
  -p 8888:8888 \
  -e JUPYTER_TOKEN="your_secure_token" \
  jupyterlab-pyspark:latest

• -p 8888:8888：将容器内 Jupyter Lab 默认端口 8888 映射到主机端口 8888
• -e JUPYTER_TOKEN：设置访问 Jupyter Lab 的令牌（建议使用强密码）
• --name：指定容器名称，便于后续管理

2. 访问服务

启动后，通过浏览器访问 http://<主机IP>:8888，输入设置的 JUPYTER_TOKEN 即可登录。

3. 挂载数据卷

如需持久化数据或共享本地文件，可挂载主机目录到容器内：

bash
docker run -d \
  --name jupyterlab-pyspark \
  -p 8888:8888 \
  -e JUPYTER_TOKEN="your_secure_token" \
  -v /本地数据目录:/home/jovyan/work \  # 挂载主机目录到容器工作目录
  jupyterlab-pyspark:latest

容器内默认工作目录为 /home/jovyan/work，挂载后可直接访问本地数据文件。

高级配置

环境变量配置

通过环境变量调整服务参数，常用变量如下表：

示例：指定 PySpark 版本与 Spark 集群

连接外部 Spark 集群并使用指定版本的 PySpark：

bash
docker run -d \
  --name jupyterlab-pyspark \
  -p 8888:8888 \
  -e JUPYTER_TOKEN="your_secure_token" \
  -e PYSPARK_VERSION="3.4.0" \
  -e SPARK_MASTER="spark://spark-master:7077" \  # 外部 Spark 主节点
  jupyterlab-pyspark:latest

自定义配置文件

如需高级配置（如 Jupyter Lab 扩展、Spark 配置），可挂载自定义配置文件：

bash
docker run -d \
  --name jupyterlab-pyspark \
  -p 8888:8888 \
  -e JUPYTER_TOKEN="your_secure_token" \
  -v /本地/jupyter_config.py:/home/jovyan/.jupyter/jupyter_config.py \  # Jupyter 配置
  -v /本地/spark-defaults.conf:/usr/local/spark/conf/spark-defaults.conf \  # Spark 配置
  jupyterlab-pyspark:latest

Docker Compose 示例

通过 docker-compose.yml 配置多容器环境（如关联 Spark 集群）：

yaml
version: '3.8'

services:
  jupyterlab:
    image: jupyterlab-pyspark:latest
    container_name: jupyterlab-pyspark
    ports:
      - "8888:8888"
    environment:
      - JUPYTER_TOKEN=your_secure_token
      - PYSPARK_VERSION=3.4.0
      - SPARK_MASTER=spark://spark-master:7077
    volumes:
      - ./data:/home/jovyan/work  # 本地数据目录挂载
    depends_on:
      - spark-master  # 依赖 Spark 主节点容器
    networks:
      - spark-network

  spark-master:
    image: bitnami/spark:3.4.0
    container_name: spark-master
    environment:
      - SPARK_MODE=master
      - SPARK_RPC_AUTHENTICATION_ENABLED=no
      - SPARK_RPC_ENCRYPTION_ENABLED=no
      - SPARK_LOCAL_STORAGE_ENCRYPTION_ENABLED=no
    ports:
      - "7077:7077"
      - "8080:8080"  # Spark Master Web UI
    networks:
      - spark-network

networks:
  spark-network:
    driver: bridge

启动命令：docker-compose up -d

注意事项

1. 安全建议：生产环境中务必设置强 JUPYTER_TOKEN，避免使用默认令牌或空令牌。
2. 资源配置：PySpark 运行可能需要较高内存，建议通过 --memory 参数限制容器资源（如 --memory 8g）。
3. 版本兼容性：指定 PYSPARK_VERSION 时需确保与 Python 版本兼容（参考 Spark 官方文档）。
4. 持久化数据：重要数据需通过数据卷挂载到主机，避免容器删除后数据丢失。