noosenergy/fluentd

noos-kube-logs: Kubernetes Fluentd DaemonSet 镜像文档

镜像概述

noos-kube-logs 是一个针对 Kubernetes 环境预配置的 Fluentd 守护进程集（DaemonSet）镜像，旨在简化 Kubernetes 集群中的日志收集、处理与转发流程。该镜像基于 Fluentd 构建，集成了 Kubernetes 环境所需的日志收集插件和配置，可直接部署为 DaemonSet 在集群各节点运行，实现容器日志的全面覆盖。

核心功能与特性

• Kubernetes 原生集成：预配置适配 Kubernetes 环境，支持从容器标准输出、文件日志等多种来源收集日志
• DaemonSet 部署模式：以 DaemonSet 形式运行，确保集群每个节点均部署日志收集实例，实现全节点日志覆盖
• 灵活日志处理：内置日志过滤、格式化功能，支持结构化日志转换（如 JSON 格式化）和元数据 enrichment（如添加 Kubernetes 元数据）
• 多目标转发：支持将处理后的日志转发至多种后端存储或分析平台（如 Elasticsearch、Amazon S3、Grafana Loki 等）
• 轻量级设计：优化镜像体积与资源占用，适合大规模 Kubernetes 集群部署

使用场景

• Kubernetes 集群集中式日志收集：替代手动配置 Fluentd，快速实现集群内所有容器日志的统一收集
• 日志标准化与转发：将非结构化日志转换为结构化格式，并转发至集中式日志平台（如 ELK Stack、Grafana Stack）
• 节点级日志监控：通过 DaemonSet 部署模式，实时监控集群各节点的容器运行日志，支持故障排查与审计
• 多环境日志聚合：在混合云或多集群环境中，统一日志收集策略，实现跨集群日志聚合分析

使用方法与配置说明

部署方式

推荐通过 Kubernetes DaemonSet 部署，确保集群每个节点运行一个日志收集实例。

基本 DaemonSet 部署示例

yaml
apiVersion: apps/v1
kind: DaemonSet
metadata:
  name: fluentd-log-collector
  namespace: kube-system
spec:
  selector:
    matchLabels:
      name: fluentd-log-collector
  template:
    metadata:
      labels:
        name: fluentd-log-collector
    spec:
      tolerations:
      - key: node-role.kubernetes.io/master
        effect: NoSchedule
      containers:
      - name: fluentd
        image: github.com/noosenergy/noos-kube-logs/docker/exporter
        resources:
          limits:
            memory: 200Mi
          requests:
            cpu: 100m
            memory: 200Mi
        volumeMounts:
        - name: varlog
          mountPath: /var/log
        - name: varlibdockercontainers
          mountPath: /var/lib/docker/containers
          readOnly: true
        env:
        - name: FLUENTD_OUTPUT_DESTINATION
          value: "elasticsearch"
        - name: ELASTICSEARCH_HOST
          value: "elasticsearch-service"
        - name: ELASTICSEARCH_PORT
          value: "9200"
      volumes:
      - name: varlog
        hostPath:
          path: /var/log
      - name: varlibdockercontainers
        hostPath:
          path: /var/lib/docker/containers

配置参数说明

环境变量配置

卷挂载说明

• /var/log：挂载节点日志目录，用于收集系统与容器标准输出日志
• /var/lib/docker/containers：挂载 Docker 容器日志目录，用于收集容器文件日志（只读权限）

日志收集路径

默认配置下，镜像收集以下路径的日志：

• 容器标准输出日志：/var/log/containers/*.log
• 系统日志：/var/log/syslog、/var/log/messages
• Docker 容器日志文件：/var/lib/docker/containers/*/*.log

注意事项

• 部署前需确保集群节点已配置适当的存储权限，允许 Pod 挂载主机日志目录
• 根据集群规模调整资源限制（CPU/内存），避免日志处理过程中资源不足
• 对于大规模集群，建议结合 Fluentd 缓冲机制（如 file buffer）避免日志丢失

镜像仓库

完整代码与部署示例可参考：https://github.com/noosenergy/noos-kube-logs/tree/master/docker/exporter