nerc/sparkr-k8s

nerc/sparkr-k8s镜像说明

镜像概述

本镜像基于Spark构建，集成SparkR运行环境及S3相关库，专为Kubernetes（k8s）环境设计，旨在简化SparkR应用的容器化部署与运行，助力用户高效开展数据分析任务。

核心功能

1. 提供完整的SparkR运行环境，支持SparkR脚本执行与数据分析
2. 集成S3客户端库，可与Amazon S3或兼容S3协议的存储服务进行数据交互
3. 适配Kubernetes环境，支持容器化部署与资源调度

使用场景

1. 在K8s集群中执行SparkR数据分析任务
2. 开发或运行需要访问S3存储数据的SparkR应用
3. 构建容器化的SparkR工作流与自动化 pipeline

配置说明

• 通过环境变量（如SPARK_MASTER、SPARK_WORKER_CORES）调整Spark运行参数
• 可挂载自定义Spark配置文件（如spark-defaults.conf）覆盖默认配置

部署示例

Docker Run 快速启动

bash
docker run -it --rm docker.xuanyuan.run/nerc/sparkr-k8s sparkR

Kubernetes 部署参考（简化版）

yaml
apiVersion: batch/v1
kind: Job
metadata:
  name: sparkr-job
spec:
  template:
    spec:
      containers:
      - name: sparkr
        image: nerc/sparkr-k8s
        command: ["sparkR", "--file", "/path/to/your/script.R"]
      restartPolicy: Never