apsops/filebeat-kubernetes

filebeat-kubernetes

这是一个用于Kubernetes集群的Filebeat容器镜像，可替代Fluentd收集并发送集群及Pod日志到Logstash进行后续处理。

镜像概述

该镜像设计为在Kubernetes集群中以DaemonSet形式运行（每个节点部署一个Pod），负责收集节点上的容器日志，解析Docker JSON格式日志并应用多行过滤，再将日志发送到Logstash进行进一步处理。

核心功能

1. 收集Kubernetes集群及Pod的日志数据
2. 解析Docker JSON格式日志并应用多行过滤规则
3. 支持通过环境变量自定义配置（如Logstash地址、日志级别、集群名称等）
4. 适配DaemonSet部署模式，确保每个节点都能覆盖日志收集

使用场景

适用于需要集中管理Kubernetes集群日志的场景：

• 集群日志的统一收集与存储
• 日志的实时分析与监控
• 多集群环境下的日志区分与管理

配置说明

可通过以下环境变量自定义镜像行为：

• LOGSTASH_HOSTS: Logstash服务地址列表（必填，格式：host:port,host:port）
• LOG_LEVEL: Filebeat日志级别（默认：error，可选：info/debug等）
• FILEBEAT_HOST: 自定义Filebeat的"host"字段（建议设为Kubernetes节点名称）
• CLUSTER_NAME: 集群名称（用于多集群区分，默认：default）

部署示例（Kubernetes DaemonSet）

yaml
apiVersion: extensions/v1beta1
kind: DaemonSet
metadata:
  name: filebeat
  namespace: kube-system
  labels:
    app: filebeat
spec:
  template:
    metadata:
      labels:
        app: filebeat
      name: filebeat
    spec:
      containers:
      - name: filebeat
        image: apsops/filebeat-kubernetes:v0.4
        resources:
          limits:
            cpu: 50m
            memory: 50Mi
        env:
          - name: LOGSTASH_HOSTS
            value: myhost.com:5000
          - name: LOG_LEVEL
            value: info
          - name: CLUSTER_NAME
            value: my_cluster
          - name: FILEBEAT_HOST
            valueFrom:
                fieldRef:
                  fieldPath: spec.nodeName
        volumeMounts:
        - name: varlog
          mountPath: /var/log/containers
        - name: varlogpods
          mountPath: /var/log/pods
          readOnly: true
        - name: varlibdockercontainers
          mountPath: /var/lib/docker/containers
          readOnly: true
      terminationGracePeriodSeconds: 30
      tolerations:
      - key: node-role.kubernetes.io/master
        effect: NoSchedule
      volumes:
      - name: varlog
        hostPath:
          path: /var/log/containers
      - name: varlogpods
        hostPath:
          path: /var/log/pods
      - name: varlibdockercontainers
        hostPath:
          path: /var/lib/docker/containers

Logstash过滤配置建议

为正确处理日志，建议在Logstash添加以下过滤规则：

ruby
filter {
  if [type] == "kube-logs" {
    mutate { rename => ["log", "message"] }
    date { match => ["time", "ISO8601"]; remove_field => ["time"] }
    grok {
        match => { "source" => "/var/log/containers/%{DATA:pod_name}_%{DATA:namespace}_%{GREEDYDATA:container_name}-%{DATA:container_id}.log" }
        remove_field => ["source"]
    }
  }
}

该规则会添加pod_name、namespace等字段，便于Elasticsearch查询分析。

贡献指南

欢迎提交issue或pull request修复bug或添加功能，共同优化镜像的模块化与可靠性。

许可证

本项目采用MIT许可证，详情见https://github.com/ApsOps/filebeat-kubernetes/blob/master/LICENSE%E3%80%82