elasticio/fluentd-kubernetes-gelf

Fluentd Kubernetes Gelf 镜像文档

镜像概述

Fluentd Kubernetes Gelf镜像专为Kubernetes环境设计，集成Fluentd日志收集工具与GELF（Graylog Extended Log Format）输出功能，提供容器化的日志收集解决方案。该镜像能够无缝对接Kubernetes集群，收集节点及Pod日志并转换为GELF格式，便于与Graylog等日志聚合系统集成，实现集群日志的集中收集、处理与分析。

核心功能与特性

• Kubernetes原生日志收集：支持从Kubernetes节点文件系统、容器日志（stdout/stderr）及Kubernetes API获取元数据
• GELF格式转换：内置日志格式处理逻辑，将原始日志转换为符合GELF规范的结构化数据
• 灵活配置机制：支持通过环境变量、配置文件挂载等方式自定义日志收集规则、过滤条件及输出目标
• 轻量级设计：基于精简基础镜像构建，优化资源占用，适合在Kubernetes集群中以DaemonSet或Sidecar模式部署
• 元数据增强：自动附加Kubernetes元数据（如Pod名称、命名空间、容器ID等）至日志条目

使用场景

• Kubernetes集群日志集中化管理，需统一收集节点、Pod及应用日志
• 需将Kubernetes日志输出至支持GELF协议的日志系统（如Graylog、Elasticsearch+Kibana等）
• 容器化应用日志的实时处理与分析，需结构化日志格式支持复杂查询
• 多环境日志标准化，需统一日志输出格式以简化跨系统日志整合

使用方法与配置说明

基础部署（Docker Run）

bash
docker run -d --name fluentd-k8s-gelf \
  --restart always \
  -e GELF_HOST=graylog.example.com \  # GELF目标服务器地址（必填）
  -e GELF_PORT=12201 \               # GELF目标服务器端口（默认12201）
  -e KUBELET_URL=http://kubelet:10255 \  # Kubelet API地址（用于获取容器元数据）
  -e LOG_LEVEL=info \                # 日志级别（debug/info/warn/error，默认info）
  -v /var/log:/var/log:ro \          # 挂载节点日志目录（只读）
  -v /var/lib/docker/containers:/var/lib/docker/containers:ro \  # 挂载容器日志目录（只读）
  -v /etc/kubernetes/pki:/etc/kubernetes/pki:ro \  # 挂载Kubernetes证书（如需访问API Server）
  fluentd-kubernetes-gelf:latest

环境变量配置参数

Kubernetes部署示例（DaemonSet）

yaml
apiVersion: apps/v1
kind: DaemonSet
metadata:
  name: fluentd-k8s-gelf
  namespace: kube-system
  labels:
    app: fluentd-k8s-gelf
spec:
  selector:
    matchLabels:
      app: fluentd-k8s-gelf
  template:
    metadata:
      labels:
        app: fluentd-k8s-gelf
    spec:
      tolerations:
      - key: node-role.kubernetes.io/master
        effect: NoSchedule
      containers:
      - name: fluentd-k8s-gelf
        image: fluentd-kubernetes-gelf:latest
        resources:
          limits:
            memory: 512Mi
          requests:
            cpu: 100m
            memory: 200Mi
        env:
        - name: GELF_HOST
          value: "graylog.internal"  # 替换为实际GELF服务器地址
        - name: GELF_PORT
          value: "12201"
        - name: LOG_LEVEL
          value: "info"
        volumeMounts:
        - name: varlog
          mountPath: /var/log
          readOnly: true
        - name: varlibdockercontainers
          mountPath: /var/lib/docker/containers
          readOnly: true
        - name: etckubernetes
          mountPath: /etc/kubernetes/pki
          readOnly: true
        - name: runlogjournal
          mountPath: /run/log/journal
          readOnly: true
      volumes:
      - name: varlog
        hostPath:
          path: /var/log
      - name: varlibdockercontainers
        hostPath:
          path: /var/lib/docker/containers
      - name: etckubernetes
        hostPath:
          path: /etc/kubernetes/pki
      - name: runlogjournal
        hostPath:
          path: /run/log/journal

自定义配置

通过挂载Fluentd配置文件（fluent.conf）可实现高级日志处理需求，示例配置片段：

xml
# 从容器日志文件收集日志
<source>
  @type tail
  path "#{ENV['TAIL_PATH']}"
  pos_file /var/log/fluentd-containers.log.pos
  tag kube.*
  format json
  time_key time
  time_format %Y-%m-%dT%H:%M:%S.%NZ
  read_from_head true
</source>

# 过滤并增强Kubernetes元数据
<filter kube.**>
  @type kubernetes_metadata
  kube_url "#{ENV['KUBERNETES_API_URL']}"
  verify_ssl true
  ca_file /etc/kubernetes/pki/ca.crt
</filter>

# 输出至GELF目标
<match **>
  @type gelf
  host "#{ENV['GELF_HOST']}"
  port "#{ENV['GELF_PORT']}"
  protocol "#{ENV['GELF_PROTOCOL']}"
  include_tag_key true
  tag_key tag
  flush_interval 5s
  buffer_chunk_limit "#{ENV['BUFFER_SIZE_LIMIT']}"
</match>

自定义配置文件可通过-v /path/to/custom/fluent.conf:/fluentd/etc/fluent.conf挂载至容器。