stakater/fluentd-kubernetes

镜像概述

本镜像为Kubernetes环境设计，基于Fluentd构建，集成多个关键插件，提供开箱即用的日志收集、处理和转发能力。镜像内置Kubernetes日志采集配置，支持通过Pod注解动态注入解析规则，适用于容器化应用的日志管理场景。

核心功能与特性

• 插件集成：包含以下核心插件

  • fluent-plugin-kubernetes_metadata_filter：从Kubernetes API获取Pod元数据并添加到日志
  • fluent-plugin-elasticsearch：将日志转发至Elasticsearch
  • fluent-plugin-prometheus：提供Prometheus指标暴露能力
  • fluent-plugin-concat：支持多行日志合并处理

• 动态配置：通过Pod注解fluentd_configuration动态注入日志解析规则

• 内置K8s日志采集：预设从/var/log/containers/*.log路径采集容器日志的配置

• 多行日志处理：支持基于正则表达式的多行日志合并

使用场景

• Kubernetes集群内容器日志的集中收集与处理
• 需要将容器日志转发至Elasticsearch进行存储和分析的场景
• 需动态调整日志解析规则的多容器应用环境
• 对日志进行元数据 enrichment（如添加Kubernetes Pod信息）的需求

使用方法与配置说明

基本部署

镜像需挂载/fluentd/etc/目录以提供自定义配置文件fluent.conf。典型部署命令：

bash
docker run -v /path/to/fluentd/config:/fluentd/etc your-image-name

Kubernetes部署

建议使用DaemonSet确保每个节点运行Fluentd实例，并挂载必要的主机路径：

yaml
apiVersion: apps/v1
kind: DaemonSet
metadata:
  name: fluentd
  namespace: kube-system
spec:
  selector:
    matchLabels:
      name: fluentd
  template:
    metadata:
      labels:
        name: fluentd
    spec:
      tolerations:
      - key: node-role.kubernetes.io/master
        effect: NoSchedule
      containers:
      - name: fluentd
        image: your-image-name
        resources:
          limits:
            memory: 200Mi
          requests:
            cpu: 100m
            memory: 200Mi
        volumeMounts:
        - name: varlog
          mountPath: /var/log
        - name: fluentd-config
          mountPath: /fluentd/etc
      volumes:
      - name: varlog
        hostPath:
          path: /var/log
      - name: fluentd-config
        configMap:
          name: fluentd-config

动态配置日志解析规则

通过为Pod添加fluentd_configuration注解，可动态配置日志解析规则。示例注解：

yaml
metadata:
  annotations:
    fluentd_configuration: >
      [
        [
          {
            "expression": "/(?<time>[^ ]* [^ ]*) +(?<log>[^ ].*$)/",
            "time_format": "%Y/%m/%d %H:%M:%S",
            "container_name": "container"
          }
        ]
      ]

注解参数说明

• expression：日志解析的正则表达式
• time_format：时间字段的格式
• container_name：目标容器名称（多容器Pod需指定）

内置配置说明

镜像内置默认配置（fluent.conf）包含以下关键部分：

1. 日志源配置

   • 监听24224端口接收转发日志
   • 从/var/log/containers/*.log路径采集容器日志

2. 过滤规则

   • 使用kubernetes_metadata插件添加Kubernetes元数据
   • 根据Pod注解动态生成解析规则
   • 使用concat插件合并多行日志（以/^[\S]+/为起始正则，30秒刷新）

3. 输出配置

   • 转发至Elasticsearch（默认地址：elasticsearch.tools:9200）
   • 采用Logstash格式，30秒刷新间隔，无限重试机制

自定义配置

如需修改默认配置，可挂载自定义fluent.conf至/fluentd/etc/目录。配置文件支持模板语法，可动态获取Kubernetes资源信息。