bitnamicharts/spark

Bitnami Apache Spark 软件包

Apache Spark 是一个高性能的大规模计算任务引擎，适用于数据处理、机器学习和实时数据流等场景。它包含 Java、Python、Scala 和 R 的 API。

Apache Spark 概述

商标说明：本软件列表由 Bitnami 打包。产品中提及的各个商标分属各自公司所有，使用这些商标并不意味着任何关联或背书。

快速入门

console
helm install my-release oci://registry-1.docker.io/bitnamicharts/spark

希望在生产环境中使用 Apache Spark？请尝试 VMware Tanzu Application Catalog，即 Bitnami 目录的商业版。

⚠️ 重要通知：Bitnami 目录即将变更

自 2025 年 8 月 28 日起，Bitnami 将升级其公共目录，在新的 Bitnami Secure Images 计划下提供精选的强化、安全聚焦镜像集。作为此次转型的一部分：

• 首次向社区用户开放流行容器镜像的安全优化版本访问权限。
• Bitnami 将开始在免费层中弃用对非强化、基于 Debian 的软件镜像的支持，并将逐步从公共目录中移除非最新标签。因此，社区用户将只能访问数量减少的强化镜像。这些镜像仅以“latest”标签发布，适用于开发目的。
• 从 8 月 28 日开始，在两周内，所有现有容器镜像（包括旧版本或带版本号的标签，如 2.50.0、10.6）将从公共目录（docker.io/bitnami）迁移至“Bitnami Legacy”仓库（docker.io/bitnamilegacy），且不再接收更新。
• 对于生产工作负载和长期支持，建议用户采用 Bitnami Secure Images，其中包括强化容器、更小的***面、CVE 透明度（通过 VEX/KEV）、SBOM 以及企业支持。

这些变更旨在通过推广软件供应链完整性和最新部署的最佳实践，提升所有 Bitnami 用户的安全态势。更多详情，请访问 https://github.com/bitnami/containers/issues/83267%E3%80%82

简介

本 Chart 使用 Helm 包管理器在 Kubernetes 集群上引导 https://github.com/bitnami/containers/tree/main/bitnami/spark 部署。

Apache Spark 包含 Java、Python、Scala 和 R 的 API。

前提条件

• Kubernetes 1.23+
• Helm 3.8.0+

安装 Chart

要使用发布名称 my-release 安装 Chart：

console
helm install my-release oci://REGISTRY_NAME/REPOSITORY_NAME/spark

注意：您需要将占位符 REGISTRY_NAME 和 REPOSITORY_NAME 替换为 Helm Chart 仓库和存储库的引用。例如，对于 Bitnami，需使用 REGISTRY_NAME=registry-1.docker.io 和 REPOSITORY_NAME=bitnamicharts。

这些命令使用默认配置在 Kubernetes 集群上部署 Apache Spark。参数 部分列出了可在安装过程中配置的参数。

提示：使用 helm list 列出所有发布

配置和安装详情

资源请求和限制

Bitnami Charts 允许为 Chart 部署内的所有容器设置资源请求和限制。这些配置位于 resources 值中（参见参数表）。设置请求对于生产工作负载至关重要，应根据具体使用场景进行调整。

为简化此过程，Chart 包含 resourcesPreset 值，可根据不同预设自动设置 resources 部分。有关这些预设的详细信息，请参见 https://github.com/bitnami/charts/blob/main/bitnami/common/templates/_resources.tpl#L15%E3%80%82%E4%BD%86%E5%9C%A8%E7%94%9F%E4%BA%A7%E5%B7%A5%E4%BD%9C%E8%B4%9F%E8%BD%BD%E4%B8%AD%EF%BC%8C%E4%B8%8D%E5%BB%BA%E8%AE%AE%E4%BD%BF%E7%94%A8 resourcesPreset，因为它可能无法完全适应您的特定需求。有关容器资源管理的更多信息，请参阅 Kubernetes 官方文档。

Prometheus 指标

通过将 metrics.enabled 设置为 true，可将此 Chart 与 Prometheus 集成。这将在容器和服务中公开 Spark 原生的 Prometheus 端口。服务还将包含必要的注解，以便被 Prometheus 自动抓取。

Prometheus 要求

集成需确保已安装 Prometheus 或 Prometheus Operator。可安装 https://github.com/bitnami/charts/tree/main/bitnami/prometheus 或 https://github.com/bitnami/charts/tree/main/bitnami/kube-prometheus%EF%BC%8C%E4%BB%A5%E5%9C%A8%E9%9B%86%E7%BE%A4%E4%B8%AD%E5%BF%AB%E9%80%9F%E9%83%A8%E7%BD%B2%E5%8F%AF%E7%94%A8%E7%9A%84 Prometheus。

与 Prometheus Operator 集成

通过设置 metrics.serviceMonitor.enabled=true，Chart 可部署 ServiceMonitor 对象以与 Prometheus Operator 集成。确保集群中已安装 Prometheus Operator CustomResourceDefinitions，否则将失败并显示以下错误：

text
no matches for kind "ServiceMonitor" in version "monitoring.coreos.com/v1"

安装 https://github.com/bitnami/charts/tree/main/bitnami/kube-prometheus 以获取必要的 CRD 和 Prometheus Operator。

滚动标签与不可变标签

强烈建议在生产环境中使用不可变标签。这可确保即使相同标签更新为不同镜像，部署也不会自动更改。

如果主容器有新版本、重大变更或严重漏洞，Bitnami 将发布新的 Chart 以更新其容器。

备份和恢复

要在 Kubernetes 上备份和恢复 Helm Chart 部署，需使用 Kubernetes 备份/恢复工具 Velero 备份源部署的持久卷，并将其附加到新部署。有关使用 Velero 的说明，请参见 此指南。

定义自定义配置

要使用自定义配置，需创建包含 spark-env.sh 文件的 ConfigMap。ConfigMap 名称必须在部署时提供。

要为主节点设置配置，使用 master.configurationConfigMap=configMapName；为工作节点设置配置，使用 worker.configurationConfigMap=configMapName。

这些值可同时在单个 ConfigMap 中设置，或使用两个 ConfigMap。ConfigMap 中还可提供额外的 spark-defaults.conf 文件。您可同时使用这两个文件，或仅使用其中一个。

提交应用

要向 Apache Spark 集群提交应用，使用 spark-submit 脚本，该脚本可在 https://github.com/apache/spark/tree/master/bin 获取。

以下命令演示了部署 Apache Spark 随附的示例应用的过程。将 k8s-apiserver-host、k8s-apiserver-port、spark-master-svc 和 spark-master-port 占位符替换为您部署的主节点主机/IP 地址和端口。

console
$ ./bin/spark-submit \
    --class org.apache.spark.examples.SparkPi \
    --conf spark.kubernetes.container.image=bitnami/spark:3 \
    --master k8s://https://k8s-apiserver-host:k8s-apiserver-port \
    --conf spark.kubernetes.driverEnv.SPARK_MASTER_URL=spark://spark-master-svc:spark-master-port \
    --deploy-mode cluster \
    ./examples/jars/spark-examples_2.12-3.2.0.jar 1000

此命令示例假设您已下载 Spark 二进制发行版，可在 Apache Spark 下载 获取。

有关使用自定义应用的完整步骤，请参阅 Spark 的 在 Kubernetes 上运行 Spark 指南。

注意：如果配置了 RPC 身份验证，目前无法向独立集群提交应用。了解更多关于此问题。

配置 Spark Master 作为反向代理

Spark 支持将 Spark Master 配置为工作节点和应用 UI 的反向代理。这很有用，因为 Spark Master UI 否则可能使用私有 IPv4 地址链接到 Spark 工作节点和 Spark 应用。

结合 ingress 配置，您可设置 master.configOptions 和 worker.configOptions，告知 Spark 反向代理工作节点和应用 UI，以实现在无需直接访问其主机的情况下进行访问：

yaml
master:
  configOptions:
    -Dspark.ui.reverseProxy=true
    -Dspark.ui.reverseProxyUrl=https://spark.your-domain.com
worker:
  configOptions:
    -Dspark.ui.reverseProxy=true
    -Dspark.ui.reverseProxyUrl=https://spark.your-domain.com
ingress:
  enabled: true
  hostname: spark.your-domain.com

有关参数的详细信息，请参见 Spark 配置 文档。

配置 Apache Spark 安全性

配置 SSL 通信

要启用工作节点和主节点之间的安全传输，部署 Helm Chart 时设置 ssl.enabled=true Chart 参数。

创建证书和密码密钥

需为密码和证书创建两个密钥。两个密钥的名称应使用 security.passwordsSecretName 和 security.ssl.existingSecret Chart 参数进行配置。

创建证书和证书密钥

要生成证书密钥，首先生成两个证书并将其重命名为 spark-keystore.jks 和 spark-truststore.jks。如需测试，可使用 https://raw.githubusercontent.com/confluentinc/confluent-platform-security-tools/master/kafka-generate-ssl.sh%E3%80%82

创建证书后，为其创建密钥，文件名为键。键必须命名为 spark-keystore.jks 和 spark-truststore.jks，内容必须为 JKS 格式的文本。

创建密码密钥

密码密钥应包含三个键：rpc-authentication-secret、ssl-keystore-password 和 ssl-truststore-password。

配置 Chart

创建密钥后，配置 Chart 并设置各种安全相关参数，包括引用先前创建的密钥的 security.certificatesSecretName 和 security.passwordsSecretName 参数。以下是 Chart 部署的示例配置：

text
security.certificatesSecretName=my-secret
security.passwordsSecretName=my-passwords-secret
security.rpc.authenticationEnabled=true
security.rpc.encryptionEnabled=true
security.storageEncrytionEnabled=true
security.ssl.enabled=true
security.ssl.needClientAuth=true

注意：如果配置了 RPC 身份验证，目前无法向独立集群提交应用。了解更多关于此问题。

设置 Pod 亲和性

此 Chart 允许使用 XXX.affinity 参数设置自定义亲和性。有关 Pod 亲和性的更多信息，请参见 Kubernetes 文档。

作为替代方案，您可使用 https://github.com/bitnami/charts/tree/main/bitnami/common#affinities Chart 中提供的 Pod 亲和性、Pod 反亲和性和节点亲和性预设配置。为此，设置 XXX.podAffinityPreset、XXX.podAntiAffinityPreset 或 XXX.nodeAffinityPreset 参数。

参数

全局参数

通用参数

Spark 参数

Spark 主节点参数

注意：此 Chart 的 README 超出了 DockerHub 25000 字符的长度限制，因此已被截断。完整 README 可在 https://github.com/bitnami/charts/blob/main/bitnami/spark/README.md 查看。