Bitnami Dremio Helm图表

Dremio是一款开源自助数据访问工具，提供高性能查询能力，支持对数据湖进行交互式分析。

Dremio概述

商标说明：本软件列表由Bitnami打包。产品中提及的相关商标归各自公司所有，使用这些商标并不意味着任何关联或背书。

快速使用

helm install my-release oci://registry-1.docker.io/bitnamicharts/dremio

如需在生产环境使用Dremio？请尝试VMware Tanzu Application Catalog，即Bitnami应用目录的企业版。

⚠️ 重要通知：Bitnami目录即将变更

自2025年8月28日起，Bitnami将升级其公共目录，通过新的Bitnami Secure Images计划提供精选的强化、安全聚焦镜像。此次过渡包括：

• 首次向社区用户开放热门容器镜像的安全优化版本访问权限。
• Bitnami将开始在免费层级中弃用对非强化Debian基础软件镜像的支持，并逐步从公共目录中移除非最新标签。因此，社区用户将只能访问数量减少的强化镜像，这些镜像仅以“latest”标签发布，适用于开发目的。
• 从8月28日开始，在两周内，所有现有容器镜像（包括旧版本或特定版本标签，如2.50.0、10.6）将从公共目录（docker.io/bitnami）迁移至“Bitnami Legacy”仓库（docker.io/bitnamilegacy），且不再接收更新。
• 对于生产工作负载和长期支持，建议用户采用Bitnami Secure Images，包括强化容器、更小***面、CVE透明度（通过VEX/KEV）、SBOM以及企业支持。

这些变更旨在通过推广软件供应链完整性和最新部署的最佳实践，提升所有Bitnami用户的安全态势。更多详情，请访问Bitnami Secure Images公告。

介绍

本图表使用Helm包管理器在Kubernetes集群上引导部署Dremio。

前提条件

• Kubernetes 1.23+
• Helm 3.8.0+
• 底层基础设施支持PV供应

安装图表

使用发布名称my-release安装图表：

helm install my-release oci://REGISTRY_NAME/REPOSITORY_NAME/dremio

注意：需将占位符REGISTRY_NAME和REPOSITORY_NAME替换为Helm图表仓库和仓库名称。例如，对于Bitnami，需使用REGISTRY_NAME=registry-1.docker.io和REPOSITORY_NAME=bitnamicharts。

该命令使用默认配置在Kubernetes集群上部署Dremio。参数部分列出了可在安装过程中配置的参数。

提示：使用helm list查看所有发布

配置和安装详情

滚动标签与不可变标签

强烈建议在生产环境中使用不可变标签。这可确保如果相同标签更新为不同镜像时，部署不会自动变更。

如果主容器有新版本、重大变更或严重漏洞，Bitnami将发布新图表更新其容器。

自定义Dremio配置文件

Dremio有两个主要配置文件：dremio.conf和core-site.xml。图表会使用values.yaml文件中的信息自动生成这些文件。

可通过以下方式添加自定义信息到这两个文件中。

自定义dremio.conf文件

dremio.conf文件可通过以下参数覆盖：

• dremio.dremioConf.configOverrides：应用于所有Dremio节点的非敏感设置。
• dremio.dremioConf.secretConfigOverrides：应用于所有Dremio节点的敏感设置。

上述参数应用于所有Dremio节点。如需针对特定节点设置，图表提供以下参数：

• masterCoordinator.dremioConf.configOverrides：应用于Dremio主协调器节点的非敏感设置。
• masterCoordinator.dremioConf.secretConfigOverrides：应用于Dremio主协调器节点的敏感设置。
• coordinator.dremioConf.configOverrides：应用于Dremio协调器节点的非敏感设置。
• coordinator.dremioConf.secretConfigOverrides：应用于Dremio协调器节点的敏感设置。
• executor.common.dremioConf.configOverrides：应用于Dremio执行器节点的非敏感设置。
• executor.common.dremioConf.secretConfigOverrides：应用于Dremio执行器节点的敏感设置。

使用这些参数，图表将为每个Dremio组件生成包含非敏感设置的ConfigMaps和包含敏感设置的Secrets。随后，初始化容器会合并ConfigMap和Secret中的信息，生成最终的dremio.conf文件，并挂载到/opt/bitnami/dremio/conf。

注意：上述参数中的设置必须以YAML格式输入，将转换为HOCON兼容的扁平化YAML。

以下示例为所有Dremio节点覆盖上传路径，并为主协调器节点增加令牌过期时间：

dremio:
  dremioConf:
    configOverrides:
      paths.upload: /tmp/uploads

masterCoordinator:
  dremioConf:
    configOverrides:
      services.coordinator.web.tokens.cache.expiration_minutes: 20

查看上游Dremio文档获取允许的设置列表。

作为替代方案，可通过*.dremioConf.existingSecret和*.dremioConf.existingConfigmap参数提供包含dremio.conf配置的现有ConfigMaps和Secrets。

自定义core-site.xml文件

core-site.xml文件可通过以下参数自定义：

• dremio.coreSite.appendConfiguration：追加到core-site.xml文件<configuration>部分内的XML字符串。

以下示例禁用与S3后端的SSL连接：

dremio:
  coreSite:
    appendConfiguration: |
      <property>
          <name>fs.s3a.connection.ssl.enabled</name>
          <description>值可为true或false，设置为true可与安全的Minio服务器使用SSL。</description>
          <value>false</value>
      </property>

作为替代方案，可通过dremio.coreSite.existingSecret参数提供包含core-site.xml配置的现有Secret。

查看上游Dremio文档获取core-site.xml文件中的可用设置列表。

配置文件中的环境变量

图表允许在Dremio配置设置中引用环境变量，方法是将环境变量用{{ }}括起来。初始化容器将使用render-template工具渲染环境变量，适用于密钥轮换场景。

如需添加用于渲染的额外环境变量，设置defaultInitContainers.generateConf.extraEnvVars参数。

以下示例在core-site.xml中添加依赖AZURE_TOKEN环境变量的属性，该变量来自名为azure-secret、密钥为token的Secret：

dremio:
  coreSite:
    appendConfiguration: |
      <property>
          <name>dremio.azure.key</name>
          <description>存储账户的共享访问密钥。</description>
          <value>{{ AZURE_TOKEN }}</value>
      </property>

defaultInitContainers:
  generateConf:
    extraEnvVars:
      - name: AZURE_TOKEN
        valueFrom:
          secretKeyRef:
            name: azure-secret
            key: token

添加额外配置文件

对于高级配置（如编辑logback.xml），可通过以下参数在dremio.conf的ConfigMap或Secret中包含额外配置文件：

• dremio.dremioConf.extraFiles：添加非敏感额外文件。
• dremio.dremioConf.extraSecretFiles：添加敏感额外文件。

以下示例包含修改后的logback.xml文件：

dremio:
  dremioConf:
    extraFiles:
      logback.xml: |
        <?xml version="1.0" encoding="UTF-8" ?>
        <configuration scan="true" scanPeriod="30 seconds">
          <contextListener class="ch.qos.logback.classic.jul.LevelChangePropagator"/>
          <appender name="console" class="ch.qos.logback.core.ConsoleAppender">
            <encoder>
              <pattern>%date{ISO8601} [%thread] %-5level %logger{36} - %msg%n</pattern>
            </encoder>
          </appender>
        </configuration>

注意：在extraFiles或extraSecretFiles中添加dremio.conf将完全覆盖图表生成的默认dremio.conf文件。

分布式存储配置

Bitnami Dremio图表原生支持s3作为后端存储（AWS或MinIO™），通过dremio.distStorageType配置，可选值为aws、minio或other。例如：

• dremio.distStorageType: aws

当dremio.distStorageType设为other时，可配置其他分布式存储后端，但需通过*.dremioConf和*.coreSite添加额外配置。以下为部分分布式存储后端配置示例。查看上游Dremio文档获取dremio.conf和core-site.xml中所需的设置。

MinIO™子图表作为存储后端（默认）

使用嵌入式子图表时，设置以下参数：

dremio:
  distStorageType: minio

minio:
  enabled: true

外部MinIO™作为分布式存储

配置外部MinIO™安装时，使用externalS3部分（替换DREMIO_*占位符）：

dremio:
  distStorageType: minio

minio:
  enabled: false

externalS3:
  host: DREMIO_MINIO_HOST
  port: DREMIO_MINIO_PORT
  accessKeyID: DREMIO_ACCESS_KEY_ID
  accessKeySecret: DREMIO_ACCESS_KEY_SECRET
  bucket: DREMIO_BUCKET

AWS作为分布式存储（使用访问密钥认证）

配置AWS作为分布式存储时，使用externalS3部分（替换DREMIO_*占位符）：

dremio:
  distStorageType: minio

minio:
  enabled: false

externalS3:
  accessKeyID: DREMIO_ACCESS_KEY_ID
  accessKeySecret: DREMIO_ACCESS_KEY_SECRET
  bucket: DREMIO_BUCKET
  region: DREMIO_REGION

Azure Storage作为分布式存储

根据上游Dremio文档配置Azure Storage时，使用dremio.dremioConf和dremio.coreSite参数（替换DREMIO_*占位符）：

dremio:
  distStorageType: other
  dremioConf:
    configOverrides:
      paths.dist: "dremioAzureStorage://:///DREMIO_FILE_SYSTEM_NAME/DREMIO_ALTERNATIVE_STORAGE_ROOT_DIRECTORY"
  coreSite:
    appendConfiguration: |
      <property>
          <name>fs.dremioAzureStorage.impl</name>
          <description>文件系统实现，必须为com.dremio.plugins.azure.AzureStorageFileSystem</description>
          <value>com.dremio.plugins.azure.AzureStorageFileSystem</value>
      </property>
      <property>
          <name>dremio.azure.account</name>
          <description>存储账户名称。</description>
          <value>DREMIO_ACCOUNT_NAME</value>
      </property>
      <property>
          <name>dremio.azure.key</name>
          <description>存储账户的共享访问密钥。</description>
          <value>DREMIO_ACCESS_KEY</value>
      </property>
      <property>
          <name>dremio.azure.mode</name>
          <description>存储账户类型，值：STORAGE_V2</description>
          <value>STORAGE_V2</value>
      </property>
      <property>
          <name>dremio.azure.secure</name>
          <description>启用SSL连接的布尔选项，默认：True，值：True/False</description>
          <value>True</value>
      </property>

minio:
  enabled: false

Google Cloud Storage作为分布式存储

根据上游Dremio文档配置Google Cloud Storage时，使用dremio.dremioConf和dremio.coreSite参数（替换DREMIO_*占位符）：

dremio:
  distStorageType: other
  dremioConf:
    configOverrides:
      paths.dist: "dremiogcs:///DREMIO_BUCKET_NAME/DREMIO_BUCKET_FOLDER"
  coreSite:
    appendConfiguration: |
      <property>
        <name>dremio.gcs.whitelisted.buckets</name>
        <description>用于分布式存储的GCS桶</description>
        <value>DREMIO_BUCKET_NAME</value>
      </property>
      <property>
        <name>fs.dremiogcs.impl</name>
        <description>文件系统实现，必须设为com.dremio.plugins.gcs.GoogleBucketFileSystem</description>
        <value>com.dremio.plugins.gcs.GoogleBucketFileSystem</value>
      </property>
      <property>
        <name>dremio.gcs.use_keyfile</name>
        <description>不使用密钥文件</description>
        <value>false</value>
      </property>

minio:
  enabled: false

Prometheus监控

将metrics.enabled设为true时，图表可与Prometheus集成。这将在所有Pod中部署带有jmx_exporter的边车容器，以及metrics服务（可在metrics.service部分配置）。该metrics服务包含自动被Prometheus抓取所需的注解。

Prometheus要求

需在集群中安装Prometheus或Prometheus Operator才能实现集成。安装Bitnami Prometheus Helm图表或Bitnami Kube Prometheus Helm图表可快速在集群中部署Prometheus。

与Prometheus Operator集成

图表可部署ServiceMonitor对象以与Prometheus Operator集成。为此，设置metrics.serviceMonitor.enabled=true。确保集群中已安装Prometheus Operator CustomResourceDefinitions，否则将失败并显示以下错误：

no matches for kind "ServiceMonitor" in version "monitoring.coreos.com/v1"

安装Bitnami Kube Prometheus Helm图表可获取所需的CRDs和Prometheus Operator。

用户认证

当dremio.auth.enabled参数设为true时，图表将创建一个Job，使用Dremio内部认证机制自动引导用户。用户可通过以下参数自定义：

• dremio.auth.username：引导用户名
• dremio.auth.password：引导密码
• dremio.auth.email：引导***
• dremio.auth.firstName：引导名
• dremio.auth.lastName：引导姓

也可通过dremio.auth.existingSecret值使用现有Secret提供密码。

其他认证机制可通过dremioConf和coreSite值配置。查看上游Dremio文档获取所有可用选项。

外部Zookeeper支持

可配置Dremio连接外部Zookeeper而非在集群内安装，通常用于使用托管数据库服务或共享数据库服务器。为此，通过参数中的`