oldschoolweaver/spark-notebook

镜像概述

该镜像提供集成Jupyter Notebook、Python3、Spark和Mesos的技术栈，适用于数据分析与处理场景，预装常用数据分析库，支持本地模式运行或连接Spark集群。

核心功能

• Jupyter Notebook 5.2.x版本
• Conda管理的Python3.x环境
• 预装pyspark、pandas、matplotlib、scipy、seaborn、scikit-learn等数据分析库
• Spark 2.2.0（搭配Hadoop 2.7），支持本地模式或连接Spark worker集群

使用场景

• 本地小数据集的Spark数据分析与实验
• 连接分布式Spark集群进行大规模数据处理
• 数据分析教学或快速原型开发

配置说明

Spark本地模式使用

适用于本地小数据处理：

1. 运行容器后打开Python3 notebook
2. 创建本地模式SparkContext，示例代码：

python
import pyspark
sc = pyspark.SparkContext('local[*]')

# 验证示例
rdd = sc.parallelize(range(1000))
rdd.takeSample(False,5)

部署示例

Docker Run命令

bash
docker run -d -p 8888:8888 --name spark-notebook docker.xuanyuan.run/oldschoolweaver/spark-notebook

访问http://localhost:8888进入Jupyter界面。

Docker Compose示例

yaml
version: '3'
services:
  spark-notebook:
    image: oldschoolweaver/spark-notebook
    ports: ["8888:8888"]
    volumes: ["./notebooks:/home/jovyan/work"] # 挂载本地目录
    restart: unless-stopped