bde2020/spark-java-template

Spark Java模板

镜像概述和主要用途

Spark Java模板镜像是构建可在Spark集群上运行的Java应用程序的基础镜像。有关如何设置Spark集群的说明，请参见https://github.com/big-data-europe/docker-spark%E3%80%82

核心功能和特性

• 使用Maven作为构建工具，支持通过pom.xml管理应用依赖
• 能够创建包含应用代码及其依赖的assembly JAR（"uber" JAR）
• 自动将项目源码添加到容器中并进行构建
• 支持通过环境变量灵活配置Spark应用参数

使用场景和适用范围

适用于需要在Spark集群环境中开发、构建和部署Java应用程序的场景，特别适合大数据处理、批处理任务和分布式计算应用的开发与部署。

使用方法和配置说明

使用Maven打包应用

要在Spark集群上构建和启动Java应用，需通过扩展此镜像添加源代码。该模板使用Maven作为构建工具，因此确保项目根目录中包含pom.xml文件以指定所有依赖。

Maven的package命令必须创建包含代码及其依赖的assembly JAR（或"uber" JAR）。Spark和Hadoop依赖应标记为provided。Maven shade插件可用于构建此类assembly JAR。

扩展Spark Java模板以集成应用

扩展步骤

1. 在项目根目录（包含pom.xml的目录）创建Dockerfile
2. 扩展Spark Java模板Docker镜像
3. 配置以下环境变量（默认值满足需求时可省略）：
   • SPARK_MASTER_NAME（默认：spark-master）：Spark主节点名称
   • SPARK_MASTER_PORT（默认：7077）：Spark主节点端口
   • SPARK_APPLICATION_JAR_NAME（默认：application-1.0）：应用JAR包名称
   • SPARK_APPLICATION_MAIN_CLASS（默认：my.main.Application）：应用主类全限定名
   • SPARK_APPLICATION_ARGS（默认：""）：应用运行参数
4. 构建并运行镜像

构建和运行命令

bash
docker build --rm=true -t bde/spark-app .
docker run --name my-spark-app -e ENABLE_INIT_DAEMON=false --link spark-master:spark-master -d bde/spark-app

注意事项

• 直接扩展Spark Java模板镜像时，项目文件夹中的源代码将自动添加到/usr/src/app目录
• 若非直接扩展模板，需在Dockerfile中手动添加并打包源代码：

  dockerfile
  COPY . /usr/src/app
  RUN cd /usr/src/app \
      && mvn clean package
  

• 若在Dockerfile中覆盖模板的CMD，确保在最后执行/template.sh脚本

示例Dockerfile

dockerfile
FROM bde2020/spark-java-template:3.1.1-hadoop3.2

MAINTAINER Erika Pauwels <erika.pauwels@tenforce.com>
MAINTAINER Gezim Sejdiu <g.sejdiu@gmail.com>

ENV SPARK_APPLICATION_JAR_NAME my-app-1.0-SNAPSHOT-with-dependencies
ENV SPARK_APPLICATION_MAIN_CLASS eu.bde.my.Application
ENV SPARK_APPLICATION_ARGS "foo bar baz"

示例应用

详见https://github.com/big-data-europe/demo-spark-sensor-data%E3%80%82