itayb/jupyter-notebook

itayb/jupyter-notebook镜像描述

镜像概述

本镜像提供完整的本地环境，用于通过Jupyter Notebook运行Apache Spark，支持Standalone和Kubernetes两种部署模式，方便开发者进行Spark应用的开发、测试与实验。

核心功能

• 集成Jupyter Notebook与Spark 2.4.5，支持交互式数据处理
• 支持Docker Compose部署Standalone模式Spark集群
• 支持Minikube搭建Kubernetes环境运行Spark集群
• 提供访问S3存储的示例代码，可处理Parquet等格式数据

使用场景

• 本地Spark应用开发与调试
• 数据处理算法原型验证
• Spark与Jupyter结合的学习实践
• 小规模数据处理任务的快速实验

配置说明

前提条件

• macOS Catalina 10.15.3及以上版本
• Docker Desktop 2.2.0.3（含Kubernetes v1.15.5）
• Minikube 1.7.3（可通过brew install minikube安装）

Docker Compose部署（Standalone模式）

1. 构建Spark镜像：

bash
docker build -t spark:2.4.5-worker .

2. 启动服务：

bash
docker-compose up

3. 访问Jupyter Notebook：打开浏览器访问http://localhost:8888，创建Python3 Notebook并运行示例代码。

Kubernetes部署（Minikube环境）

1. 启动Minikube：

bash
minikube start --cpus=4 --memory=4000mb

2. 安装Docker Registry：
   • 创建registry-values.yaml文件：

   yaml
   

service: type: NodePort nodePort: 30000

- 部署Registry：
```bash
helm init && helm upgrade --install --wait registry -f registry-values.yaml stable/docker-registry

3. 验证部署：

bash
kubectl get pods

示例代码

Spark求和示例

python
import os
os.environ['PYSPARK_PYTHON'] = '/usr/bin/python3'
import pyspark
conf = pyspark.SparkConf()
conf.set("spark.driver.memory", "1G")
conf.setMaster("spark://spark-master:7077")
conf.set("spark.executor.uri", "file:///usr/local/spark/spark-2.4.5-bin-hadoop2.7.tgz")
conf.set("spark.executor.memory", "1g")
conf.set("spark.core.connection.ack.wait.timeout", "1200")
sc = pyspark.SparkContext.getOrCreate(conf=conf)
rdd = sc.parallelize(range(100000))
x = rdd.sumApprox(3)
print(x)
sc.stop()

S3数据读取示例

python
import pyspark
spark = pyspark.sql.SparkSession.builder \
        .master("spark://spark-master:7077") \
        .config("spark.driver.memory", '1G') \
        .config("spark.executor.memory", "1G") \
        .config("spark.hadoop.fs.s3a.access.key", '<change_me>') \
        .config("spark.hadoop.fs.s3a.secret.key", '<change_me>') \
        .getOrCreate()
df = spark.read.parquet("s3a://my_bucket/folder1/date=2020-03-03/client=1000")
df.printSchema()
print(df.count())
spark.stop()