godatadriven/spark

Apache Spark Docker镜像

镜像概述和主要用途

本镜像为基于OpenJDK 8的Apache Spark Docker容器，旨在提供便捷的Spark作业运行环境。通过容器化方式简化Spark部署流程，支持快速执行Spark应用程序，适用于开发、测试及生产环境中的Spark任务执行。

核心功能和特性

• 基础环境：基于OpenJDK 8构建，满足Spark运行的Java环境需求。
• 灵活挂载：支持通过Docker卷（Volume）将本地作业文件挂载至容器，方便执行自定义Spark应用。
• 兼容标准命令：集成spark-submit工具，可直接传递Spark作业参数及应用参数。

使用场景和适用范围

• 快速运行Spark批处理作业，无需手动配置复杂的Spark集群环境。
• 开发阶段测试Spark应用程序，验证作业逻辑和参数配置。
• 轻量级Spark任务执行，适用于单机环境下的Spark作业部署。

使用方法和配置说明

默认运行

容器默认执行spark-submit --help命令，输出Spark提交作业的帮助信息：

bash
docker run godatadriven/spark

运行自定义作业

若需执行本地开发的Spark作业，需通过卷挂载将本地作业文件目录映射至容器，具体步骤如下：

1. 挂载本地目录：将包含Spark应用JAR包的本地文件夹（如/local_folder）挂载至容器内的/job目录。
2. 传递作业参数：在docker run命令中指定Spark作业参数、应用JAR路径及应用参数。

示例命令：

bash
docker run -v /local_folder:/job godatadriven/spark [options] /job/<应用JAR包> [应用参数]

参数说明：

• -v /local_folder:/job：将本地/local_folder目录挂载至容器的/job目录，使容器可访问本地作业文件。
• [options]：Spark作业提交参数（如--class指定主类、--master指定运行模式等）。
• /job/<应用JAR包>：容器内作业JAR包的路径（需与挂载目录对应）。
• [应用参数]：传递给Spark应用程序的自定义参数。