dsaidgovsg/pinot-spark

Pinot与Spark集成镜像

镜像概述

本镜像基于Apache Pinot的Dockerfile改编，提供Pinot与Spark集成的Docker环境，支持Kubernetes集成，便于用户快速构建和部署Pinot与Spark结合的应用。

核心功能

• 集成Pinot与Spark环境，支持数据分析场景
• 包含Kubernetes集成能力，适配容器化部署需求
• 支持自定义Pinot、Spark、Hadoop等组件版本参数

使用场景

• 开发和测试Pinot与Spark结合的数据分析应用
• 部署基于Kubernetes的Pinot-Spark集群
• 构建自定义版本的Pinot-Spark集成环境

配置说明

构建镜像时可通过以下参数自定义组件版本：

• PINOT_VERSION：Pinot版本
• SPARK_VERSION：Spark版本
• HADOOP_VERSION：Hadoop版本
• SCALA_VERSION：Scala版本
• JAVA_VERSION：Java版本
• PYTHON_VERSION：Python版本

构建示例

bash
PINOT_VERSION=0.8.0
SPARK_VERSION=2.4.8
HADOOP_VERSION=2.7.3
SCALA_VERSION=2.12
JAVA_VERSION=8
PYTHON_VERSION=3.7

docker build . \
    -t pinot-spark:${PINOT_VERSION}_spark-${SPARK_VERSION}_hadoop-${HADOOP_VERSION}_scala-${SCALA_VERSION}_java-${JAVA_VERSION}_python-${PYTHON_VERSION} \
    --build-arg PINOT_VERSION=${PINOT_VERSION} \
    --build-arg SPARK_VERSION=${SPARK_VERSION} \
    --build-arg HADOOP_VERSION=${HADOOP_VERSION} \
    --build-arg SCALA_VERSION=${SCALA_VERSION} \
    --build-arg JAVA_VERSION=${JAVA_VERSION} \
    --build-arg PYTHON_VERSION=${PYTHON_VERSION} \
    -f Dockerfile

Dockerfile lint检查

使用hadolint工具检查Dockerfile合规性：

bash
hadolint --ignore DL3008 --ignore DL3059 --ignore DL4006 --ignore DL3002 Dockerfile

安装hadolint请参考：https://github.com/hadolint/hadolint

变更日志

查看CHANGELOG.md获取版本变更信息。

CI构建模板应用

Linux用户可下载Tera CLI v0.4：https://github.com/guangie88/tera-cli/releases 并放入系统PATH。其他用户需先安装cargo（通过rustup：[***]