icpauloledo/spark-submit

Spark-submit镜像

镜像概述

本镜像提供了在Kubernetes集群中执行Spark Submit任务的Docker运行环境，包含Dockerfile、部署配置文件（deployment.yaml）和定时任务配置文件（cronjob.yaml），并附带完整的使用指南与示例，帮助用户快速实现Spark作业在K8s上的部署。

核心功能

• 支持在Kubernetes集群中提交Spark作业
• 提供K8s部署及定时调度的配置模板
• 包含ServiceAccount创建及权限绑定的步骤说明
• 简化Spark与K8s集成的配置流程

使用场景

• 需要在Kubernetes集群中运行Spark批处理任务的场景
• 自动化调度Spark作业的定时任务需求
• 快速搭建Spark on K8s的测试或生产环境

配置说明

1. 获取Kubernetes Master API地址

执行以下命令获取集群Master的访问地址：

bash
kubectl cluster-info | egrep master

示例输出：Kubernetes master is running at https://api.k8s.my-k8.com

2. 修改配置文件中的K8S_MASTER变量

编辑k8files目录下的deployment.yaml或cronjob.yaml，更新K8S_MASTER变量值：

yaml
- name: K8S_MASTER
  value: k8s://https://api.k8s.my-k8.tech:443

3. 创建ServiceAccount

Spark Submit需要创建驱动Pod的权限，需先创建对应的ServiceAccount：

bash
kubectl create serviceaccount spark-submit

4. 绑定ClusterRole权限

将编辑权限绑定到spark-submit服务账户（默认命名空间）：

bash
kubectl create clusterrolebinding spark-role --clusterrole=edit --serviceaccount=default:spark-submit --namespace=default

或执行脚本一键完成：

bash
bash creating_service-account.sh

5. 部署Spark任务

运行以下命令部署Spark Submit任务：

bash
kubectl create -f k8files/pod-cli.yaml

部署后可通过kubectl get pods查看驱动Pod和执行器Pod的运行状态。