bde2020/spark-scala-template

Spark Scala模板镜像

镜像概述和主要用途

Spark Scala模板镜像作为基础镜像，用于构建可在Spark集群上运行的Scala应用程序。有关Spark集群的搭建方法，请参考https://github.com/big-data-europe/docker-spark%E3%80%82

核心功能和特性

• 提供sbt构建工具环境，支持Scala应用开发和打包
• 内置sbt-assembly插件，可生成包含所有依赖的fat JAR
• 支持通过环境变量配置Spark应用参数
• 提供交互式Scala控制台，便于代码测试

使用场景和适用范围

适用于需要在Spark集群环境中开发、测试和部署Scala应用程序的场景，特别适合大数据处理、批处理任务和分布式计算应用的开发工作流。

使用方法和配置说明

Scala控制台

通过sbt console命令可创建Spark Context，用于测试代码，功能类似于spark-shell：

bash
docker run -it --rm bde2020/spark-scala-template sbt console

也可直接使用自定义Docker镜像，通过此方式测试自己的代码。

使用sbt打包应用

通过扩展此镜像并添加源代码，可构建并在Spark集群上启动Scala应用。模板使用sbt作为构建工具，需使用当前目录下的build.sbt文件和包含https://github.com/sbt/sbt-assembly%E7%9A%84%60project%60%E7%9B%AE%E5%BD%95%E3%80%82

使用此模板构建Docker镜像后，将生成包含应用程序及其所有依赖的fat JAR。

扩展Spark Scala模板构建应用

扩展步骤

1. 在项目根目录（包含build.sbt）创建Dockerfile
2. 基于Spark Scala模板镜像进行扩展
3. 配置以下环境变量（默认值满足需求时可省略）：
   • SPARK_MASTER_NAME（默认值：spark-master）
   • SPARK_MASTER_PORT（默认值：7077）
   • SPARK_APPLICATION_MAIN_CLASS（默认值：Application）
   • SPARK_APPLICATION_ARGS（默认值：""）
4. 构建并运行镜像：

bash
docker build --rm=true -t bde/spark-app .
docker run --name my-spark-app -e ENABLE_INIT_DAEMON=false --link spark-master:spark-master -d bde/spark-app

直接扩展Spark Scala模板镜像时，项目文件夹中的源代码会自动添加到/usr/src/app。否则，需在Dockerfile中手动添加并打包源代码：

dockerfile
COPY . /usr/src/app
RUN cd /usr/src/app && sbt clean assembly

如果在Dockerfile中覆盖模板的CMD，需确保在最后执行/template.sh脚本。

示例Dockerfile

dockerfile
FROM bde2020/spark-scala-template:3.1.1-hadoop3.2

MAINTAINER Cecile Tonglet <cecile.tonglet@tenforce.com>

ENV SPARK_APPLICATION_MAIN_CLASS eu.bde.my.Application
ENV SPARK_APPLICATION_ARGS "foo bar baz"

示例应用

TODO