godatadriven/pyspark

Apache PySpark Docker镜像

镜像概述和主要用途

该Docker镜像基于OpenJDK 8和Miniconda 3构建，提供了Apache PySpark的运行环境，用于便捷地执行PySpark数据处理作业。通过容器化方式，简化了PySpark环境的部署和管理，适用于数据处理、分析及Spark作业开发测试场景。

核心功能和特性

• 基于OpenJDK 8提供稳定的Java运行环境
• 集成Miniconda 3，支持Python数据科学库
• 内置spark-submit工具，可直接运行PySpark作业
• 支持挂载本地目录，方便加载自定义作业文件
• 可通过命令行参数灵活配置Spark运行参数

使用场景和适用范围

• 数据处理与分析任务
• PySpark作业的开发与测试
• 轻量级Spark环境快速部署
• 教学和学习PySpark的实验环境

使用方法和配置说明

默认运行

容器默认执行spark-submit --help命令，显示Spark提交作业的帮助信息：

bash
docker run godatadriven/pyspark

运行自定义作业

要运行自定义PySpark作业，需将本地作业文件通过卷挂载到容器内，并指定作业文件路径及相关参数：

bash
docker run -v /local_folder:/job godatadriven/pyspark [options] /job/<python文件> [应用参数]

• /local_folder: 本地存放PySpark作业文件的目录
• /job: 容器内映射的作业目录
• [options]: Spark提交参数（如--master、--name、--conf等）
• <python文件>: 自定义PySpark作业的Python文件路径
• [应用参数]: 传递给PySpark作业的应用参数

使用示例

项目的samples文件夹包含PySpark作业示例，展示如何获取Spark会话和处理数据。运行时需将当前目录映射为/job，从项目根目录执行以下命令：

单词计数示例

bash
# 基本单词计数
docker run -v $(pwd):/job godatadriven/pyspark /job/samples/word_counter.py

# 带额外Spark选项的单词计数
docker run -v $(pwd):/job godatadriven/pyspark \
    --name "I count myself" \
    --master "local[1]" \
    --conf "spark.ui.showConsoleProgress=True" \
    --conf "spark.ui.enabled=False" \
    /job/samples/word_counter.py "jobSampleArgument1"