cerebriai/kernel-spark-py

docker-kernel-spark-py

镜像概述

本镜像提供适用于Kubernetes环境下企业网关（Enterprise Gateway）的Spark/Python内核，集成Cerebri Spark相关特性，旨在支持企业级分布式数据处理与分析任务，助力用户在容器化环境中高效运行Spark应用。

核心功能

1. 提供Spark与Python运行内核，兼容企业网关的内核管理需求；
2. 适配Kubernetes容器化环境，支持集群部署与资源调度；
3. 集成Cerebri Spark特性，增强数据处理性能与兼容性。

使用场景

1. 企业级大数据分析场景：通过企业网关进行分布式Spark计算；
2. Kubernetes集群中Spark应用的容器化运行与管理；
3. 需要Python与Spark结合的数据分析任务，如数据清洗、建模等。

配置说明

可通过环境变量调整内核运行参数，常见配置项包括：

• SPARK_MASTER：指定Spark Master地址（如spark://master:7077）；
• EG_KERNEL_ID：企业网关分配的内核唯一标识；
• SPARK_EXECUTOR_MEMORY：Spark执行器内存配置（如2g）。

部署示例

Docker Run命令

bash
docker run -d \
  --name spark-py-kernel \
  -e SPARK_MASTER=spark://your-spark-master:7077 \
  cerebriai/kernel-spark-py

Kubernetes部署（示例片段）

yaml
apiVersion: v1
kind: Pod
metadata:
  name: spark-py-kernel-pod
spec:
  containers:
  - name: spark-py-kernel
    image: cerebriai/kernel-spark-py
    env:
    - name: SPARK_MASTER
      value: "spark://spark-cluster:7077"