devopsil/filebeat-kubernetes

filebeat-kubernetes

该镜像为Filebeat的容器化版本，用于在Kubernetes集群中收集日志，可替代Fluentd，将集群及Pod日志发送至Redis进行后续处理。

镜像概述

本容器设计用于在Kubernetes集群的Pod中运行，负责收集节点及Pod的日志并转发至Redis，支持通过环境变量自定义配置，需以DaemonSet形式部署（每个节点运行一个Pod）。

核心功能

• 收集Kubernetes集群节点及Pod的日志
• 支持环境变量配置Redis连接信息及日志级别
• 解析Docker JSON格式日志并应用多行过滤
• 以DaemonSet方式部署，覆盖所有集群节点

使用场景

• Kubernetes集群日志集中管理
• 日志转发至Redis，供Logstash等工具进一步处理
• 替代Fluentd实现轻量级日志收集

配置说明

可通过以下环境变量自定义配置：

• REDIS_HOST: Redis服务地址（格式：host:port），必填
• LOG_LEVEL: Filebeat日志级别，默认值为"error"，可选值：info、warn、error等
• REDIS_PASSWORD: Redis密码，可选

Kubernetes部署示例（DaemonSet）

yaml
apiVersion: extensions/v1beta1
kind: DaemonSet
metadata:
  name: filebeat
  namespace: kube-system
  labels:
    app: filebeat
spec:
  template:
    metadata:
      labels:
        app: filebeat
      name: filebeat
    spec:
      containers:
      - name: filebeat
        image: devopsil/filebeat-kubernetes:5.4.0
        resources:
          limits:
            cpu: 50m
            memory: 50Mi
        env:
          - name: REDIS_HOST
            value: myhost.com:5000
          - name: LOG_LEVEL
            value: info
          - name: REDIS_PASSWORD
            value: somesecurepassword
        volumeMounts:
        - name: varlog
          mountPath: /var/log
        - name: socket
          mountPath: /var/run/docker.sock
        - name: varlibdockercontainers
          mountPath: /var/lib/docker/containers
          readOnly: true
      terminationGracePeriodSeconds: 30
      volumes:
      - name: varlog
        hostPath:
          path: /var/log
      - name: varlibdockercontainers
        hostPath:
          path: /var/lib/docker/containers
      - name: socket
        hostPath:
          path: /var/run/docker.sock

Logstash过滤配置示例

若需处理日志内容，可在Logstash中添加以下过滤规则：

ruby
filter {
  if [type] == "kube-logs" {

    mutate {
      rename => ["log", "message"]
    }

    date {
      match => ["time", "ISO8601"]
      remove_field => ["time"]
    }

    grok {
        match => { "source" => "/var/log/containers/%{DATA:pod_name}_%{DATA:namespace}_%{GREEDYDATA:container_name}-%{DATA:container_id}.log" }
        remove_field => ["source"]
    }
  }
}

该规则会为Elasticsearch中的日志条目添加pod_name、namespace、container_name和container_id字段。

许可证

本项目采用MIT许可证，详情请参考https://github.com/devops-israel/filebeat-kubernetes/blob/master/LICENSE%E3%80%82