datagovsg/spark-base

Spark基础镜像

镜像概述

这是一个实验性的Spark基础镜像Dockerfile配置，集成了标准Python数据科学包，主要用于构建Spark worker容器，解决Pyspark依赖需在worker节点安装的问题。

核心功能

• 支持指定Spark和Hadoop版本（当前仅兼容Spark 2.4.0、Hadoop 3.1.0）
• 集成标准Python数据科学库（含numpy、pandas、pyproj、shapely、requests等）
• 可作为基础镜像快速搭建Spark worker节点环境

使用场景

适用于分布式Pyspark任务场景，需确保worker节点具备数据科学依赖的大数据分析、数据处理任务，如批量数据清洗、特征工程等。

配置说明

构建镜像时可通过以下参数自定义配置：

• SPARK_VERSION：Spark版本，当前仅支持2.4.0
• HADOOP_VERSION：Hadoop版本，当前仅支持3.1.0
• PACKAGE_SET：Python包集合，当前仅支持"standard"（包含numpy、pandas、pyproj、shapely、requests）

部署示例

Docker Build命令

bash
docker build \
  --build-arg SPARK_VERSION=2.4.0 \
  --build-arg HADOOP_VERSION=3.1.0 \
  --build-arg PACKAGE_SET="standard" \
  -t my-spark-base .

作为基础镜像使用

在自定义Dockerfile中引用该镜像：

dockerfile
FROM datagovsg/spark-base:latest
# 在此添加自定义配置或依赖