bitnamicharts/fluentd

Bitnami Fluentd Helm Chart 文档

镜像概述和主要用途

Fluentd 是一个开源的数据收集器，旨在统一日志收集和消费流程。它能够从多种数据源（如应用程序、服务器、容器等）收集事件日志，并将其转发至文件、关系型数据库、NoSQL 数据库、云服务、Hadoop 等多种目标系统。Bitnami 提供的此 Helm Chart 用于在 Kubernetes 集群上通过 Helm 包管理器快速部署和配置 Fluentd，实现集群内日志的集中收集、处理与分发。

核心功能和特性

• 多源日志采集：支持从文件、TCP/UDP 端口、HTTP 接口、容器（Docker/Kubernetes）等多种数据源采集日志。
• 灵活的日志处理：可通过配置实现日志过滤、转换、格式化等自定义处理逻辑。
• 分布式架构支持：包含 forwarder（DaemonSet）和 aggregator（StatefulSet）组件，前者在每个节点收集日志，后者进行集中聚合处理。
• 多目标输出：默认输出至标准输出，可配置转发至 Elasticsearch、S3、MongoDB、Kafka 等外部服务。
• Prometheus 集成：支持导出 Prometheus 指标，便于监控日志收集状态和性能。
• 安全配置：支持 TLS 加密传输，可配置 Pod 安全上下文（包括非 root 用户运行选项）。
• 自定义扩展：允许挂载自定义配置文件、初始化脚本，适应特定业务场景需求。
• 资源优化：支持设置容器资源请求和限制，适配不同集群资源环境。

使用场景和适用范围

• Kubernetes 集群日志管理：在 Kubernetes 环境中统一收集节点、容器及应用日志，解决分布式环境下日志分散问题。
• 开发/测试环境：使用社区版镜像快速搭建日志采集 pipeline，验证日志流程和处理规则。
• 生产环境日志聚合：结合 Bitnami Secure Images（需商业许可），实现安全加固的日志采集，满足生产级稳定性和安全性要求。
• 多目标日志分发：将日志同时发送至多个目标系统（如 Elasticsearch 用于实时分析、S3 用于长期归档）。

详细的使用方法和配置说明

前提条件

• Kubernetes 集群版本 1.23+
• Helm 版本 3.8.0+
• 集群支持持久卷（PV）动态供应

注意：默认情况下，forwarder 组件以 root 用户（forwarder.securityContext.runAsUser=0）运行，因需访问节点的 hostPath 卷读取日志文件（多数 Kubernetes 节点中日志文件仅 root 可读取）。

安装 Chart

使用以下命令安装 Chart，发布名称为 my-release：

console
helm install my-release oci://registry-1.docker.io/bitnamicharts/fluentd

说明：若使用私有镜像仓库，需替换 registry-1.docker.io/bitnamicharts 为实际仓库地址（格式：REGISTRY_NAME/REPOSITORY_NAME）。

配置详情

资源请求与限制

生产环境中建议显式配置容器资源请求和限制，避免使用预设值（resourcesPreset）。示例：

yaml
aggregator:
  resources:
    requests:
      cpu: 500m
      memory: 512Mi
    limits:
      cpu: 1000m
      memory: 1Gi
forwarder:
  resources:
    requests:
      cpu: 200m
      memory: 256Mi
    limits:
      cpu: 500m
      memory: 512Mi

日志转发至外部服务

默认 aggregator 输出日志至标准输出，可通过挂载自定义配置文件转发至外部服务（如 Elasticsearch）。步骤如下：

1. 创建包含输出配置的 ConfigMap：

yaml
apiVersion: v1
kind: ConfigMap
metadata:
  name: elasticsearch-output
data:
  fluentd.conf: |
    <source>
      @type forward
      bind 0.0.0.0
      port 24224
    </source>
    <match **>
      @type elasticsearch
      host "#{ENV['ELASTICSEARCH_HOST']}"
      port "#{ENV['ELASTICSEARCH_PORT']}"
      logstash_format true
      <buffer>
        @type file
        path /opt/bitnami/fluentd/logs/buffers/logs.buffer
        flush_interval 5s
      </buffer>
    </match>

2. 安装时引用 ConfigMap 并注入环境变量：

console
helm install my-release oci://registry-1.docker.io/bitnamicharts/fluentd \
  --set aggregator.configMap=elasticsearch-output \
  --set aggregator.extraEnvVars[0].name=ELASTICSEARCH_HOST \
  --set aggregator.extraEnvVars[0].value=elasticsearch-service \
  --set aggregator.extraEnvVars[1].name=ELASTICSEARCH_PORT \
  --set aggregator.extraEnvVars[1].value=9200

Prometheus 监控集成

启用 Prometheus 集成：

console
helm install my-release oci://registry-1.docker.io/bitnamicharts/fluentd \
  --set metrics.enabled=true \
  --set metrics.serviceMonitor.enabled=true  # 若使用 Prometheus Operator

• metrics.enabled=true：暴露 Prometheus 指标端点（默认端口 24231），并创建带注解的 Service，支持 Prometheus 自动发现。
• metrics.serviceMonitor.enabled=true：部署 ServiceMonitor 资源，需集群已安装 Prometheus Operator CRDs。

备份与恢复

使用 Velero 工具备份 Fluentd 的持久卷数据：

1. 安装 Velero 并配置存储后端。
2. 创建备份：

   console
   velero backup create fluentd-backup --include-resources pvc,pv --selector app.kubernetes.io/name=fluentd
   

3. 恢复备份：

   console
   velero restore create --from-backup fluentd-backup
   

详细步骤参见 Bitnami 备份恢复指南。

自定义初始化脚本

通过 ConfigMap 或 Secret 挂载自定义初始化脚本（如日志目录权限配置）：

1. 创建包含脚本的 ConfigMap：

   yaml
   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: fluentd-init-scripts
   data:
     setup.sh: |
       #!/bin/sh
       chmod 755 /opt/bitnami/fluentd/logs
   

2. 安装时引用：

   console
   helm install my-release oci://registry-1.docker.io/bitnamicharts/fluentd \
     --set aggregator.initScriptsCM=fluentd-init-scripts
   

安全上下文配置

默认配置：forwarder 以 root 用户运行，以访问节点 hostPath 日志文件。若节点日志文件权限允许，可配置非 root 用户运行：

yaml
forwarder:
  daemonUser: fluentd
  daemonGroup: fluentd
  securityContext:
    runAsUser: 1001
    runAsGroup: 1001
    fsGroup: 1001

TLS 加密传输

启用 TLS 以加密 forwarder 与 aggregator 间的日志传输：

console
helm install my-release oci://registry-1.docker.io/bitnamicharts/fluentd \
  --set tls.enabled=true \
  --set tls.autoGenerated=true  # 自动生成证书（生产环境建议使用 existingSecret 指定自定义证书）

参数说明

全局参数

通用参数

Fluentd 核心参数

注：完整参数列表请参见 https://github.com/bitnami/charts/blob/main/bitnami/fluentd/README.md%E3%80%82

⚠️ 重要通知：Bitnami 镜像目录变更

自 2025 年 8 月 28 日起，Bitnami 将启动 Bitnami Secure Images 计划，主要变更包括：

• 公共目录（docker.io/bitnami）将仅提供安全加固的 latest 标签镜像（用于开发），逐步移除非加固的 Debian 基础镜像及历史版本标签。
• 现有所有镜像（含历史版本标签）将迁移至 docker.io/bitnamilegacy 仓库，且不再更新。
• 生产环境建议使用 Bitnami Secure Images，包含加固容器、CVE 透明度及企业支持。

更多详情参见 https://github.com/bitnami/containers/issues/83267%E3%80%82