cerebriai/kernel-spark-scala

cerebriai/kernel-spark-scala 镜像说明

镜像概述

本镜像提供了适配Kubernetes环境下Enterprise Gateway的Spark/Scala内核，旨在为企业级大数据处理场景提供稳定、高效的分布式计算运行环境，支持用户通过Scala语言编写和执行Spark作业，助力构建端到端的数据分析工作流。

核心功能

1. 集成Spark与Scala运行环境，支持Scala编写的Spark分布式计算任务执行；
2. 适配Kubernetes上的Enterprise Gateway，实现内核的动态资源调度与生命周期管理；
3. 提供标准化的运行环境配置，确保大数据任务的一致性与可扩展性。

使用场景

1. 企业级大数据分析平台：处理海量结构化/非结构化数据的清洗、转换与分析；
2. Kubernetes集群分布式计算：机器学习模型训练、数据挖掘等计算密集型任务；
3. 多用户协作场景：通过Enterprise Gateway支持团队成员共享内核资源，协同完成数据分析工作。

配置说明

可通过环境变量或配置文件调整以下核心参数：

• Spark资源配置：SPARK_EXECUTOR_MEMORY（执行器内存）、SPARK_EXECUTOR_CORES（执行器核心数）；
• Kubernetes资源限制：K8S_CPU_LIMIT（CPU限制）、K8S_MEMORY_LIMIT（内存限制）；
• Enterprise Gateway连接参数：GATEWAY_HOST（网关地址）、GATEWAY_PORT（网关端口）。

部署示例

Docker Run命令

bash
docker run -d \
  --name spark-scala-kernel \
  -p 8888:8888 \
  -e SPARK_EXECUTOR_MEMORY=2g \
  -e SPARK_EXECUTOR_CORES=2 \
  cerebriai/kernel-spark-scala

Docker Compose配置

yaml
version: '3.8'
services:
  spark-scala-kernel:
    image: cerebriai/kernel-spark-scala
    ports:
      - "8888:8888"
    environment:
      - SPARK_EXECUTOR_MEMORY=2g
      - SPARK_EXECUTOR_CORES=2
      - GATEWAY_HOST=enterprise-gateway-service
      - GATEWAY_PORT=8080
    resources:
      limits:
        cpu: "2"
        memory: "4g"