dsaidgovsg/spark-k8s-addons Docker 镜像 - 轩辕镜像 | Docker 镜像高效稳定拉取服务

spark-k8s-addons

!CI状态

镜像概述

spark-k8s-addons是一个CI Dockerfile配置，用于在标准Spark K8s Docker镜像基础上安装云相关工具。该镜像基于Debian系统，原Spark K8s镜像构建自此仓库。

核心功能与特性

用户优化

添加了UID为185的spark用户，与官方Spark-Kubernetes Docker镜像构建的默认UID保持一致，提升使用友好性。

命令行工具(CLIs)

在原始K8s Docker镜像基础上新增以下命令行工具：

• pyenv：用于轻松安装特定主版本.次版本的Python，并设置为全局版本。每次CI构建会自动获取该Python版本的最新补丁版本。
• AWS CLI：通过pip使用pyenv设置的全局Python版本安装。
• AWS IAM Authenticator：Go语言静态链接二进制文件，独立于其他组件运行。

JAR包

在原始K8s Docker镜像基础上新增以下JAR包：

• AWS Hadoop SDK JAR：自动将spark.hadoop.fs.s3a.impl org.apache.hadoop.fs.s3a.S3AFileSystem添加到spark-defaults.conf
• Google Cloud Storage SDK JAR
• MariaDB JDBC Connector JAR

Spark配置

AWS S3A客户端配置

若要在Spark应用配置中使用AWS S3A客户端JAR，可通过以下方式：

方法1：修改配置文件

bash
echo "spark.hadoop.fs.s3a.impl  org.apache.hadoop.fs.s3a.S3AFileSystem" >> ${SPARK_HOME}/conf/spark-defaults.conf; \

方法2：命令行参数

使用spark-shell或spark-submit时，可直接添加配置参数：

bash
spark-shell --conf "spark.hadoop.fs.s3a.impl=org.apache.hadoop.fs.s3a.S3AFileSystem"

CI构建模板应用方法

Linux用户

下载Tera CLI v0.4：<[***]>，并将其添加到PATH环境变量。

其他系统用户

需先安装cargo（可通过rustup安装），然后执行：

bash
cargo install tera-cli --version=^0.4.0