antrea/theia-spark-operator

Spark Operator (Theia解决方案组件) 镜像文档

镜像概述

本镜像包含Apache Spark的Kubernetes Operator，旨在简化在Kubernetes上指定、运行和监控Spark应用的流程，使其与其他Kubernetes工作负载的管理方式保持一致。该镜像作为Theia（Kubernetes网络可观测性解决方案）的一部分，基于官方https://hub.docker.com/r/kubeflow/spark-operator镜像构建。

核心功能与特性

• Kubernetes原生集成：通过Kubernetes自定义资源（Custom Resources）实现Spark应用的声明式管理，支持应用的创建、运行及状态监控。
• 简化Spark应用管理：提供与Kubernetes工作负载一致的操作体验，降低在K8s环境中部署和管理Spark应用的复杂度。
• Theia解决方案适配：针对Theia网络可观测性场景优化，确保与Theia其他组件协同工作。

使用场景与适用范围

• 适用于需要在Kubernetes集群中运行和管理Spark应用的场景。
• 作为Theia网络可观测性解决方案的核心组件，用于处理和分析网络数据。
• 适合需要通过Kubernetes自定义资源管理Spark作业生命周期的用户。

使用方法与配置说明

基础部署

该镜像通常作为Kubernetes集群中的Deployment或StatefulSet部署，具体配置需结合Theia解决方案的整体部署流程。以下为基于官方镜像的基本部署示例（需根据Theia实际需求调整）：

Kubernetes Deployment示例

yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: spark-operator
  namespace: theia
spec:
  replicas: 1
  selector:
    matchLabels:
      app: spark-operator
  template:
    metadata:
      labels:
        app: spark-operator
    spec:
      containers:
      - name: spark-operator
        image: docker.xuanyuan.run/<theia-spark-operator-image>  # 替换为实际镜像地址
        command: ["/spark-operator"]
        args: ["--enable-webhook=true"]
        ports:
        - containerPort: 8080

配置说明

该镜像继承自官方kubeflow/spark-operator，支持官方镜像的所有配置参数，主要包括：

• --enable-webhook：是否启用Webhook（默认true）
• --namespace：限定Operator作用的命名空间（默认所有命名空间）
• --spark-image：默认使用的Spark镜像
• --resync-interval：资源同步间隔时间（默认30秒）

详细配置参数可参考https://github.com/kubeflow/spark-operator。

注意事项

• 部署前需确保Kubernetes集群已启用自定义资源定义（CRD），并创建SparkApplication等相关CRD。
• 作为Theia解决方案的一部分，需遵循Theia的部署指南进行配置，以确保与其他组件（如网络数据采集、分析模块）的兼容性。