bitnamicharts/spring-cloud-dataflow

Bitnami Spring Cloud Data Flow Helm Chart

Spring Cloud Data Flow 是一个基于微服务的工具包，用于在Cloud Foundry和Kubernetes中构建流处理和批处理数据处理管道。

https://github.com/spring-cloud/spring-cloud-dataflow

此Helm chart已被弃用

上游项目已停止维护，因此，此Helm chart也将被弃用。

TL;DR

console
helm install my-release oci://registry-1.docker.io/bitnamicharts/spring-cloud-dataflow

如需在生产环境中使用Spring Cloud Data Flow，可尝试VMware Tanzu Application Catalog，即Bitnami目录的商业版。

简介

此chart使用Helm包管理器在Kubernetes集群上引导https://github.com/bitnami/containers/tree/main/bitnami/spring-cloud-dataflow%E9%83%A8%E7%BD%B2%E3%80%82

前提条件

• Kubernetes 1.23+
• Helm 3.8.0+
• 底层基础设施支持PV供应

安装Chart

要使用发布名称my-release安装chart：

console
helm install my-release oci://REGISTRY_NAME/REPOSITORY_NAME/spring-cloud-dataflow

注意：需要将占位符REGISTRY_NAME和REPOSITORY_NAME替换为Helm chart仓库和存储库的引用。例如，对于Bitnami，需使用REGISTRY_NAME=registry-1.docker.io和REPOSITORY_NAME=bitnamicharts。

这些命令使用默认配置在Kubernetes集群上部署Spring Cloud Data Flow。参数部分列出了可在安装过程中配置的参数。

提示：使用helm list列出所有发布。

配置和安装详情

资源请求和限制

Bitnami chart允许为chart部署中的所有容器设置资源请求和限制。这些配置位于resources值中（参见参数表）。为生产工作负载设置请求至关重要，应根据具体用例进行调整。

为简化此过程，chart包含resourcesPreset值，可根据不同预设自动设置resources部分。有关这些预设的详细信息，请参见https://github.com/bitnami/charts/blob/main/bitnami/common/templates/_resources.tpl#L15%E3%80%82%E4%BD%86%E5%9C%A8%E7%94%9F%E4%BA%A7%E5%B7%A5%E4%BD%9C%E8%B4%9F%E8%BD%BD%E4%B8%AD%EF%BC%8C%E4%B8%8D%E5%BB%BA%E8%AE%AE%E4%BD%BF%E7%94%A8%60resourcesPreset%60%EF%BC%8C%E5%9B%A0%E4%B8%BA%E5%AE%83%E5%8F%AF%E8%83%BD%E6%97%A0%E6%B3%95%E5%AE%8C%E5%85%A8%E9%80%82%E5%BA%94%E6%82%A8%E7%9A%84%E7%89%B9%E5%AE%9A%E9%9C%80%E6%B1%82%E3%80%82%E6%9C%89%E5%85%B3%E5%AE%B9%E5%99%A8%E8%B5%84%E6%BA%90%E7%AE%A1%E7%90%86%E7%9A%84%E6%9B%B4%E5%A4%9A%E4%BF%A1%E6%81%AF%EF%BC%8C%E8%AF%B7%E5%8F%82%E8%A7%81Kubernetes%E5%AE%98%E6%96%B9%E6%96%87%E6%A1%A3%E3%80%82

备份和恢复

要在Kubernetes上备份和恢复Helm chart部署，需要使用Kubernetes备份/恢复工具Velero备份源部署的持久卷，并将其附加到新部署。有关使用Velero的说明，请参见此指南。

Prometheus指标

通过将metrics.enabled设置为true，此chart可与Prometheus集成。这将部署一个包含https://github.com/micrometer-metrics/prometheus-rsocket-proxy%E7%9A%84Deployment%E5%92%8C%E4%B8%80%E4%B8%AA%60metrics%60%E6%9C%8D%E5%8A%A1%EF%BC%8C%E5%8F%AF%E5%9C%A8%60metrics.service%60%E9%83%A8%E5%88%86%E4%B8%8B%E8%BF%9B%E8%A1%8C%E9%85%8D%E7%BD%AE%E3%80%82%E6%AD%A4%60metrics%60%E6%9C%8D%E5%8A%A1%E5%B0%86%E5%85%B7%E6%9C%89%E5%BF%85%E8%A6%81%E7%9A%84%E6%B3%A8%E8%A7%A3%EF%BC%8C%E4%BB%A5%E8%A2%ABPrometheus%E8%87%AA%E5%8A%A8%E6%8A%93%E5%8F%96%E3%80%82

Prometheus要求

要使集成正常工作，需要安装有效的Prometheus或Prometheus Operator。安装https://github.com/bitnami/charts/tree/main/bitnami/prometheus%E6%88%96https://github.com/bitnami/charts/tree/main/bitnami/kube-prometheus%EF%BC%8C%E5%8F%AF%E5%9C%A8%E9%9B%86%E7%BE%A4%E4%B8%AD%E8%BD%BB%E6%9D%BE%E8%8E%B7%E5%BE%97%E5%8F%AF%E7%94%A8%E7%9A%84Prometheus%E3%80%82

与Prometheus Operator集成

此chart可为与Prometheus Operator安装集成部署ServiceMonitor对象。要实现此目的，需将值metrics.serviceMonitor.enabled设置为true。确保集群中已安装Prometheus Operator CustomResourceDefinitions，否则将失败并显示以下错误：

text
no matches for kind "ServiceMonitor" in version "monitoring.coreos.com/v1"

安装https://github.com/bitnami/charts/tree/main/bitnami/kube-prometheus%E4%BB%A5%E8%8E%B7%E5%8F%96%E5%BF%85%E8%A6%81%E7%9A%84CRD%E5%92%8CPrometheus Operator。

滚动标签与不可变标签

强烈建议在生产环境中使用不可变标签。这可确保如果相同标签使用不同镜像更新，部署不会自动更改。

如果主容器有新版本、重大更改或严重漏洞，Bitnami将发布新chart以更新其容器。

功能特性

如果只需部署任务和调度，可禁用流处理和Skipper：

console
server.configuration.batchEnabled=true
server.configuration.streamingEnabled=false
skipper.enabled=false
rabbitmq.enabled=false

如果只需部署流，可禁用任务和调度：

console
server.configuration.batchEnabled=false
server.configuration.streamingEnabled=true
skipper.enabled=true
rabbitmq.enabled=true

注意：server.configuration.batchEnabled和server.configuration.streamingEnabled不应同时设置为false。

消息解决方案

此chart支持两种消息解决方案：

• RabbitMQ（默认）
• Kafka

要将消息层更改为Kafka，请使用以下参数：

console
rabbitmq.enabled=false
kafka.enabled=true

同一时间只能使用一种消息层。

使用外部数据库

有时您可能希望Spring Cloud组件连接到外部数据库，而不是在集群内安装数据库，例如使用托管数据库服务，或为所有应用使用单个数据库服务器。为此，chart允许您在externalDatabase参数下指定外部数据库的凭据。还应使用mariadb.enabled选项禁用MariaDB安装。例如，使用以下参数：

console
mariadb.enabled=false
externalDatabase.scheme=mariadb
externalDatabase.host=myexternalhost
externalDatabase.port=3306
externalDatabase.dataflow.username=mydataflowuser
externalDatabase.dataflow.password=mydataflowpassword
externalDatabase.dataflow.database=mydataflowdatabase
externalDatabase.skipper.username=myskipperuser
externalDatabase.skipper.password=myskipperpassword
externalDatabase.skipper.database=myskipperdatabase

注意：当使用各个属性（scheme、host、port、database、可选的jdbcParameters）时，此chart将JDBC URL格式化为jdbc:{scheme}://{host}:{port}/{database}{jdbcParameters}。URL格式遵循MariaDB数据库驱动，但可能不适用于其他数据库供应商。

要使用其他数据库供应商（非MariaDB），可使用externalDatabase.dataflow.url和externalDatabase.skipper.url属性分别提供Dataflow服务器和Skipper的JDBC URL。如果定义了这些属性，它们将优先于各个属性。例如，配置外部MS SQL Server数据库：

console
mariadb.enabled=false
externalDatabase.dataflow.url=jdbc:sqlserver://mssql-server:1433
externalDatabase.dataflow.username=mydataflowuser
externalDatabase.dataflow.password=mydataflowpassword
externalDatabase.skipper.url=jdbc:sqlserver://mssql-server:1433
externalDatabase.skipper.username=myskipperuser
externalDatabase.skipper.password=myskipperpassword
externalDatabase.hibernateDialect=org.hibernate.dialect.SQLServer2012Dialect

注意：如果按上述方式禁用MariaDB，则必须提供externalDatabase连接的值。

添加额外环境变量

如需向任何Spring Cloud组件添加额外环境变量，可使用XXX.extraEnvs参数（其中XXX是需要替换为实际组件的占位符）。例如，要向Spring Cloud Data Flow添加额外标志：

yaml
server:
  extraEnvs:
    - name: FOO
      value: BAR

使用自定义Dataflow配置

此helm chart支持为Dataflow服务器使用自定义配置。

可通过将server.existingConfigmap参数设置为包含配置文件的外部ConfigMap来指定Dataflow服务器的配置。

使用自定义Skipper配置

此helm chart支持为Skipper服务器使用自定义配置。

可通过将skipper.existingConfigmap参数设置为包含配置文件的外部ConfigMap来指定Skipper服务器的配置。

边车和初始化容器

如果需要在Dataflow或Skipper组件的同一pod中运行额外容器（例如额外的指标或日志导出器），可通过XXX.sidecars参数（其中XXX是需要替换为实际组件的占位符）实现。只需根据Kubernetes容器规范定义容器。

yaml
server:
  sidecars:
    - name: your-image-name
      image: your-image
      imagePullPolicy: Always
      ports:
        - name: portname
          containerPort: 1234

类似地，可使用XXX.initContainers参数添加额外的初始化容器。

yaml
server:
  initContainers:
    - name: your-image-name
      image: your-image
      imagePullPolicy: Always
      ports:
        - name: portname
          containerPort: 1234

Ingress

此chart提供对Ingress资源的支持。如果集群上安装了Ingress控制器，例如https://github.com/bitnami/charts/tree/main/bitnami/nginx-ingress-controller%E6%88%96https://github.com/bitnami/charts/tree/main/bitnami/contour%EF%BC%8C%E5%8F%AF%E5%88%A9%E7%94%A8Ingress%E6%8E%A7%E5%88%B6%E5%99%A8%E4%B8%BA%E5%BA%94%E7%94%A8%E6%8F%90%E4%BE%9B%E6%9C%8D%E5%8A%A1%E3%80%82

要启用Ingress集成，请将server.ingress.enabled设置为true

主机

大多数情况下，您可能只需要一个主机名映射到此Spring Cloud Data Flow安装。如果是这种情况，server.ingress.hostname属性将设置它。但也可以有多个主机。为方便实现，server.ingress.extraHosts对象可指定为数组。还可使用server.ingress.extraTLS为额外主机添加TLS配置。

对于server.ingress.extraHosts中指定的每个主机，请指明name、path以及可能需要Ingress控制器了解的任何annotations。

有关注解，请参见https://github.com/kubernetes/ingress-nginx/blob/main/docs/user-guide/nginx-configuration/annotations.md%E3%80%82%E5%B9%B6%E9%9D%9E%E6%89%80%E6%9C%89%E6%B3%A8%E8%A7%A3%E9%83%BD%E5%8F%97%E6%89%80%E6%9C%89Ingress%E6%8E%A7%E5%88%B6%E5%99%A8%E6%94%AF%E6%8C%81%EF%BC%8C%E4%BD%86%E6%9C%AC%E6%96%87%E6%A1%A3%E5%BE%88%E5%A5%BD%E5%9C%B0%E8%AF%B4%E6%98%8E%E4%BA%86%E5%93%AA%E4%BA%9B%E6%B3%A8%E8%A7%A3%E5%8F%97%E8%AE%B8%E5%A4%9A%E6%B5%81%E8%A1%8CIngress%E6%8E%A7%E5%88%B6%E5%99%A8%E6%94%AF%E6%8C%81%E3%80%82

TLS

此chart将有助于创建用于Ingress控制器的TLS密钥，但这不是必需的。有四种常见用例：

• Helm根据参数生成/管理证书密钥。
• 用户单独生成/管理证书。
• Helm创建自签名证书并生成/管理证书密钥。
• 其他工具（如https://github.com/jetstack/cert-manager/%EF%BC%89%E7%AE%A1%E7%90%86%E5%BA%94%E7%94%A8%E7%9A%84%E5%AF%86%E9%92%A5%E3%80%82

在前两种情况下，需要证书和密钥。预期格式如下：

• 证书文件应如下所示（如果有证书链，可包含多个证书）

  console
  -----BEGIN CERTIFICATE-----
  MIID6TCCAtGgAwIBAgIJAIaCwivkeB5EMA0GCSqGSIb3DQEBCwUAMFYxCzAJBgNV
  ...
  jScrvkiBO65F46KioCL9h5tDvomdU1aqpI/CBzhvZn1c0ZTf87tGQR8NK7v7
  -----END CERTIFICATE-----
  

• 密钥应如下所示：

  console
  -----BEGIN RSA PRIVATE KEY-----
  MIIEogIBAAKCAQEAvLYcyu8f3skuRyUgeeNpeDvYBCDcgq+LsWap6zbX5f8oLqp4
  ...
  wrj2wDbCDCFmfqnSJ+dKI3vFLlEz44sAV8jX/kd4Y6ZTQhlLbYc=
  -----END RSA PRIVATE KEY-----
  

• 如果要使用Helm基于参数管理证书，请将这些值复制到给定server.ingress.secrets条目的certificate和key值中。

• 如果要单独管理TLS密钥，请创建名称为INGRESS_HOSTNAME-tls的TLS密钥（其中INGRESS_HOSTNAME是需要替换为使用server.ingress.hostname参数设置的主机名的占位符），并仅在server.ingress.secrets中提供其名称，不包含certificate和key条目。

• 要使用Helm创建的自签名证书，将server.ingress.tls设置为true，并将server.ingress.certManager设置为false。

• 如果集群具有https://github.com/jetstack/cert-manager%E9%99%84%E5%8A%A0%E7%BB%84%E4%BB%B6%E4%BB%A5%E8%87%AA%E5%8A%A8%E7%AE%A1%E7%90%86%E5%92%8C%E9%A2%81%E5%8F%91TLS%E8%AF%81%E4%B9%A6%EF%BC%8C%E5%B0%86%60server.ingress.certManager%60%E5%B8%83%E5%B0%94%E5%80%BC%E8%AE%BE%E7%BD%AE%E4%B8%BAtrue%E4%BB%A5%E5%90%AF%E7%94%A8cert-manager%E7%9A%84%E7%9B%B8%E5%BA%94%E6%B3%A8%E8%A7%A3%E3%80%82

设置Pod的亲和性

此chart允许使用XXX.affinity参数（其中XXX是需要替换为实际组件的占位符）设置自定义亲和性。有关Pod亲和性的更多信息，请参见kubernetes文档。

作为替代方案，可使用https://github.com/bitnami/charts/tree/main/bitnami/common#affinities chart中提供的Pod亲和性、Pod反亲和性和节点亲和性的预设配置。为此，设置XXX.podAffinityPreset、XXX.podAntiAffinityPreset或XXX.nodeAffinityPreset参数。

参数

全局参数

通用参数

Dataflow Server参数

_注意：此chart的README超出了DockerHub