radanalyticsio/radanalytics-java-spark

镜像概述

radanalyticsio/radanalytics-java-spark是针对OpenShift平台的S2I（Source-to-Image）构建镜像，用于快速构建Java和Apache Spark应用。它提供完整和不完整两种镜像类型，集成Oshinko工具管理Spark集群，助力开发者在OpenShift上高效部署Spark应用。

核心功能

1. S2I构建支持：通过S2I流程将Java Spark源码直接转化为可运行容器镜像。
2. 双镜像类型：
   • 完整镜像：预安装指定版本Apache Spark，开箱即用。
   • 不完整镜像：仅含radanalytics.io工具链，用户可自定义集成所需Spark版本。
3. Oshinko集成：简化Spark集群的创建与维护。
4. 灵活构建：支持makefile快速构建，可通过LOCAL_IMAGE变量自定义镜像仓库。
5. 模板适配：提供可修改的模板文件，适配不同部署场景。

使用场景

1. OpenShift平台上Java Spark应用的开发与部署。
2. 需要自定义Spark版本的Spark应用开发场景。
3. 团队通过S2I流程标准化Java Spark应用的构建与部署。
4. 利用Oshinko工具管理OpenShift上的Spark集群。

配置说明

构建镜像

• 构建所有镜像：

  bash
  make
  

• 单独构建Java镜像：

  bash
  make -f Makefile.java
  

• 自定义镜像仓库：

  bash
  LOCAL_IMAGE=my-custom-image make -f Makefile.java
  

修改依赖版本

使用change-yaml.sh脚本调整image.*.yaml中的Oshinko和Spark版本：

bash
./change-yaml.sh -h  # 查看帮助

重建上下文目录

当yaml文件或模块内容变更时，重建镜像上下文：

• 清理目标目录：

  bash
  make clean-target
  

• 重建Java镜像上下文并构建：

  bash
  make -f Makefile.java clean build
  

自定义Spark版本

参考官方文档选择Spark发行版：如何选择Spark版本

模板操作

• 生成适配imagestreams的模板：

  bash
  ./templates-is.sh
  

• 生成指定版本的稳定模板：

  bash
  ./release-templates.sh v0.5.6  # 替换为实际版本
  

预提交钩子安装

避免提交非零长度tarball：

bash
cd .git/hooks && ln -s ../../hooks/pre-commit pre-commit

S2I构建示例

将Java Spark源码构建为应用镜像：

bash
s2i build https://github.com/your-java-spark-repo radanalyticsio/radanalytics-java-spark my-java-spark-app