lukaszqr/fluentd-kubernetes-daemonset-debian-cloudwatch-logentries

fluentd-kubernetes-daemonset-debian-cloudwatch-logentries 镜像文档

镜像概述

该镜像为基于Debian系统的Fluentd日志收集器，专为Kubernetes环境设计，以DaemonSet方式部署，确保集群中每个节点均运行日志收集实例。其核心功能是采集节点、容器及应用日志，并通过预配置的输出插件将日志转发至AWS CloudWatch和Logentries两大日志管理平台，实现日志集中化存储与分析。

核心功能与特性

• Kubernetes原生集成：支持以DaemonSet形式部署，自动覆盖集群所有节点，确保日志无遗漏采集
• 多日志源支持：可采集容器标准输出、节点系统日志、应用文件日志等多种来源
• 双平台输出：内置CloudWatch和Logentries输出插件，支持同时向两个平台转发日志
• Debian基础：基于稳定的Debian系统，依赖管理清晰，安全性高
• 配置灵活性：支持通过环境变量和配置文件自定义日志采集规则、过滤条件及输出参数

使用场景与适用范围

• Kubernetes集群日志集中管理
• 需要将容器/节点日志同步至AWS CloudWatch进行监控分析的场景
• 需要通过Logentries实现日志聚合、检索与告警的场景
• 混合云环境下的跨平台日志统一收集需求

使用方法与配置说明

部署方式

Kubernetes DaemonSet部署（推荐）

创建DaemonSet配置文件（fluentd-daemonset.yaml）：

yaml
apiVersion: apps/v1
kind: DaemonSet
metadata:
  name: fluentd-cloudwatch-logentries
  namespace: kube-system
spec:
  selector:
    matchLabels:
      name: fluentd-cloudwatch-logentries
  template:
    metadata:
      labels:
        name: fluentd-cloudwatch-logentries
    spec:
      tolerations:
      - key: node-role.kubernetes.io/master
        effect: NoSchedule
      containers:
      - name: fluentd
        image: fluentd-kubernetes-daemonset-debian-cloudwatch-logentries:latest
        resources:
          limits:
            memory: 200Mi
          requests:
            cpu: 100m
            memory: 200Mi
        volumeMounts:
        - name: varlog
          mountPath: /var/log
        - name: varlibdockercontainers
          mountPath: /var/lib/docker/containers
          readOnly: true
        env:
        - name: AWS_ACCESS_KEY_ID
          valueFrom:
            secretKeyRef:
              name: aws-credentials
              key: access-key
        - name: AWS_SECRET_ACCESS_KEY
          valueFrom:
            secretKeyRef:
              name: aws-credentials
              key: secret-key
        - name: AWS_REGION
          value: "us-east-1"
        - name: LOGENTRIES_TOKEN
          valueFrom:
            secretKeyRef:
              name: logentries-credentials
              key: token
      volumes:
      - name: varlog
        hostPath:
          path: /var/log
      - name: varlibdockercontainers
        hostPath:
          path: /var/lib/docker/containers

部署命令：

bash
kubectl apply -f fluentd-daemonset.yaml

环境变量配置

日志配置自定义

如需调整日志采集规则或过滤逻辑，可通过挂载自定义配置文件覆盖默认配置：

1. 创建Fluentd配置文件（fluentd.conf）：

conf
<source>
  @type tail
  path /var/log/custom/*.log
  pos_file /var/log/fluentd-custom.pos
  tag custom.log
  <parse>
    @type json
  </parse>
</source>

<match custom.log>
  @type cloudwatch_logs
  log_group_name /kubernetes/custom-logs
  log_stream_name #{Socket.gethostname}
  auto_create_stream true
</match>

<match custom.log>
  @type logentries
  token "#{ENV['LOGENTRIES_TOKEN']}"
</match>

2. 在DaemonSet配置中添加ConfigMap挂载：

yaml
volumes:
- name: fluentd-config
  configMap:
    name: fluentd-custom-config
containers:
- name: fluentd
  volumeMounts:
  - name: fluentd-config
    mountPath: /fluentd/etc/fluentd.conf
    subPath: fluentd.conf

3. 创建ConfigMap并应用：

bash
kubectl create configmap fluentd-custom-config --from-file=fluentd.conf
kubectl apply -f fluentd-daemonset.yaml

注意事项

• 确保Kubernetes节点具备访问AWS CloudWatch和Logentries的网络权限
• 生产环境建议为Fluentd配置资源限制，避免影响节点性能
• 敏感信息（如AWS密钥、Logentries令牌）需通过Kubernetes Secret管理，避免明文配置
• 定期清理日志位置文件（.pos），防止磁盘空间占用过大