bde2020/flink-sbt-template

Flink SBT 模板镜像

镜像概述和主要用途

Flink SBT 模板镜像作为基础镜像，用于构建可在Flink集群上运行的SBT应用。有关Flink集群的搭建方法，请参考https://github.com/big-data-europe/docker-flink%E3%80%82

核心功能和特性

• 提供SBT构建环境，支持基于Scala的Flink应用开发
• 通过SBT assembly命令生成包含应用代码及其依赖的assembly JAR（"uber" JAR）
• 要求Flink和Hadoop依赖标记为provided，避免与集群环境冲突
• 自动将项目源码添加到容器工作目录（直接扩展模板镜像时）

使用场景和适用范围

适用于需要开发、构建并部署到Flink集群的Scala/SBT应用，尤其适合简化Flink应用的容器化构建和部署流程。

使用方法和配置说明

使用SBT打包应用

通过扩展此镜像并添加源码，可构建并在Flink集群上启动应用。模板使用SBT作为构建工具，需确保项目根目录包含build.sbt文件以指定所有依赖。

扩展Flink SBT模板镜像

扩展步骤

1. 在项目根目录（包含build.sbt的目录）创建Dockerfile
2. 基于Flink SBT模板镜像进行扩展
3. 配置以下环境变量（默认值满足需求时可省略）：
   • FLINK_APPLICATION_JAR_NAME：应用JAR名称（默认：application-1.0）
   • FLINK_APPLICATION_MAIN_CLASS：主类全限定名（默认：my.main.Job）
   • FLINK_APPLICATION_ARGS：应用启动参数（默认：空字符串）
4. 构建并运行镜像

构建和运行命令

bash
docker build --rm=true -t bde/flink-app .
docker run --name my-flink-app --link flink-master:flink-master -d bde/flink-app

注意事项

• 直接扩展Flink SBT模板镜像时，项目源码会自动添加到/usr/src/app目录
• 非直接扩展时，需在Dockerfile中手动添加并打包源码：

  dockerfile
  COPY . /usr/src/app
  RUN cd /usr/src/app \
      && sbt clean assembly
  

• 若在Dockerfile中覆盖CMD，需确保最后执行/template.sh脚本

示例Dockerfile

dockerfile
FROM bde2020/flink-sbt-template:1.12.2-hadoop3.2

MAINTAINER Gezim Sejdiu <g.sejdiu@gmail.com>

ENV FLINK_APPLICATION_JAR_NAME my-app-1.0-SNAPSHOT-with-dependencies
ENV FLINK_APPLICATION_MAIN_CLASS my.main.Job
ENV FLINK_APPLICATION_ARGS "arg1 arg2"

示例应用

参考https://github.com/gezims/flink-starter%E9%A1%B9%E7%9B%AE%E3%80%82