radanalyticsio/radanalytics-scala-spark-inc

oshinko-s2i

这是为OpenShift平台上的Apache Spark应用构建者提供s2i镜像和工具的项目。

完整镜像与不完整镜像

本仓库可构建两种类型的镜像：完整和不完整。

• 完整镜像：构建时已包含预选的Apache Spark发行版。
• 不完整镜像：包含radanalytics.io工具，但不含Spark发行版。用户可通过s2i构建生成包含自定义Spark发行版的镜像。

构建s2i镜像

使用提供的Makefile可轻松构建镜像：

bash
# 构建所有镜像  
make  

# 单独构建Scala不完整镜像  
make -f Makefile.scala-inc  

可通过LOCAL_IMAGE变量覆盖默认镜像仓库：

bash
LOCAL_IMAGE=my-custom-image make -f Makefile.scala-inc  

修改镜像yaml文件依赖

cekit工具（当前推荐版本2.2.7）基于image.*.yaml文件生成镜像上下文目录。可使用change-yaml.sh脚本简化版本修改：

bash
./change-yaml.sh -h  # 查看帮助  

重建镜像上下文目录

当image.*.yaml或modules/下内容变更时，需重建上下文目录：

上游PR场景

使用make-build-dirs.sh脚本重建所有上下文目录：

bash
./make-build-dirs.sh  

测试/开发场景

清理目标目录后重建特定上下文（如Scala不完整镜像）：

bash
make clean-target  
make -f Makefile.scala-inc clean-context context  
# 重建并构建镜像  
make -f Makefile.scala-inc clean build  

使用不完整镜像选择Spark发行版

参考官方指南了解如何使用自定义Spark发行版。

其他工具使用

• 启用R支持的rad-image：运行./get-rad-image.sh下载并启用R支持。
• 修改模板：使用templates-is.sh生成适配imagestreams的模板：

  bash
  ./templates-is.sh  
  

• 预提交钩子：安装钩子防止非零长度tarball提交：

  bash
  cd .git/hooks && ln -s ../../hooks/pre-commit pre-commit  
  

• 生成稳定版本模板：使用release-templates.sh生成引用特定版本镜像的模板：

  bash
  ./release-templates.sh v0.5.6  
  

MacOS提示

需安装额外工具：

bash
brew install truncate  
brew install gnu-sed