dsaidgovsg/spark-k8s-addons-ds

spark-k8s-addons-ds

镜像概述

spark-k8s-addons-ds是一个基于增强版spark-k8s-addons镜像构建的Docker镜像，通过CI Dockerfile配置在基础镜像上安装了标准数据科学包。基础镜像spark-k8s-addons来自https://github.com/dsaidgovsg/spark-k8s-addons%EF%BC%8C%E6%9C%AC%E9%95%9C%E5%83%8F%E4%B8%BB%E8%A6%81%E7%94%A8%E4%BA%8E%E5%9C%A8CI%E7%8E%AF%E5%A2%83%E4%B8%AD%E6%8F%90%E4%BE%9B%E5%85%B7%E5%A4%87%E6%95%B0%E6%8D%AE%E7%A7%91%E5%AD%A6%E5%B7%A5%E5%85%B7%E6%94%AF%E6%8C%81%E7%9A%84Spark%E8%BF%90%E8%A1%8C%E7%8E%AF%E5%A2%83%E3%80%82

核心功能与特性

• 基于spark-k8s-addons增强镜像构建，继承其原有功能
• 预安装多种常用数据科学Python包，包括：
  • attrs==19.3.*
  • croniter==0.3.*
  • matplotlib==3.2.*
  • numpy==1.17.*
  • pandas==0.25.*
  • pendulum==1.4.4
  • pyjwt==1.7.*
  • pyproj==1.9.*
  • python-dateutil==2.8.*
  • requests==2.22.*
  • shapely==1.6.*

使用场景

适用于需要在CI环境中运行Spark数据科学任务的场景，尤其适合需要数据分析、数据处理和机器学习功能的Spark应用部署。

使用方法

构建镜像

通过以下命令构建镜像，可通过构建参数指定Spark、Hadoop、Scala和Python版本：

bash
SPARK_VERSION=3.0.1
HADOOP_VERSION=3.2.0
SCALA_VERSION=2.12
PYTHON_VERSION=3.8

IMAGE_NAME=spark-k8s-addons-ds
docker build -t "${IMAGE_NAME}" \
    --build-arg SPARK_VERSION="${SPARK_VERSION}" \
    --build-arg HADOOP_VERSION="${HADOOP_VERSION}" \
    --build-arg SCALA_VERSION="${SCALA_VERSION}" \
    --build-arg PYTHON_VERSION="${PYTHON_VERSION}" \
    .

构建参数说明

• SPARK_VERSION: Spark版本，默认3.0.1
• HADOOP_VERSION: Hadoop版本，默认3.2.0
• SCALA_VERSION: Scala版本，默认2.12
• PYTHON_VERSION: Python版本，默认3.8

应用CI构建模板

安装Tera CLI

• Linux用户：可下载Tera CLI v0.4版本，地址：https://github.com/guangie88/tera-cli/releases，并将其添加到PATH环境变量中
• 其他用户：需先安装cargo（可通过rustup安装），然后执行以下命令安装：

  bash
  cargo install tera-cli --version=^0.4.0