giantswarm/fluent-bit

docker-fluent-bit

镜像概述

docker-fluent-bit是Fluent Bit日志处理器的Docker镜像封装。Fluent Bit是一个开源的、轻量级的数据收集器，专为处理日志和事件数据而设计，具有低资源消耗和高性能的特点，特别适合容器化和云原生环境。

核心功能与特性

• 轻量级设计：资源占用低，内存消耗通常在1-2MB范围内
• 高性能：每秒可处理数十万个日志事件
• 多平台支持：可在Linux、Windows和macOS上运行
• 丰富的输入输出插件：支持多种日志来源和目标存储
• 数据处理能力：内置过滤和转换功能
• 容器原生：专为Docker、Kubernetes等容器环境优化
• 可靠性：支持数据缓冲和重传机制

使用场景与适用范围

• 容器化应用日志集中收集
• Kubernetes集群日志管理
• 微服务架构中的分布式日志聚合
• 云环境中的日志处理与转发
• 需要低资源消耗的日志收集场景
• 日志数据实时分析与监控

使用方法与配置说明

基本使用

使用默认配置运行Fluent Bit容器：

bash
docker run -d --name=fluent-bit -p 2020:2020 fluent/fluent-bit

自定义配置

创建自定义配置文件fluent-bit.conf，然后挂载到容器中：

bash
docker run -d --name=fluent-bit \
  -v /path/to/fluent-bit.conf:/fluent-bit/etc/fluent-bit.conf \
  -p 2020:2020 \
  fluent/fluent-bit

Docker Compose示例

yaml
version: '3'

services:
  fluent-bit:
    image: fluent/fluent-bit
    container_name: fluent-bit
    volumes:
      - ./fluent-bit.conf:/fluent-bit/etc/fluent-bit.conf
      - /var/log:/var/log
      - /var/lib/docker/containers:/var/lib/docker/containers:ro
    ports:
      - "2020:2020"
    restart: unless-stopped

配置文件结构

Fluent Bit配置文件包含三个主要部分：

ini
[SERVICE]
    Flush           5
    Log_Level       info
    Daemon          off
    HTTP_Server     On
    HTTP_Listen     0.0.0.0
    HTTP_Port       2020

[INPUT]
    Name            tail
    Path            /var/log/syslog
    Tag             syslog

[OUTPUT]
    Name            stdout
    Match           *

常用插件

输入插件(INPUT)

• tail: 从文件尾部读取数据，类似tail命令
• docker: 收集Docker容器日志
• syslog: 监听syslog消息
• tcp: 通过TCP协议接收数据
• http: 通过HTTP接收数据

输出插件(OUTPUT)

• stdout: 输出到标准输出
• elasticsearch: 发送数据到Elasticsearch
• kafka: 发送数据到Kafka
• influxdb: 发送数据到InfluxDB
• cloudwatch: 发送数据到AWS CloudWatch
• splunk: 发送数据到Splunk

过滤插件(FILTER)

• grep: 按条件过滤日志
• kubernetes: 为容器日志添加Kubernetes元数据
• json: 解析JSON格式日志
• record_modifier: 修改日志记录内容

环境变量配置

Fluent Bit支持通过环境变量配置部分参数：

• FLB_LOG_LEVEL: 设置日志级别 (info, debug, warn, error)
• FLB_HTTP_SERVER: 启用/禁用HTTP服务器 (on/off)
• FLB_HTTP_PORT: 设置HTTP服务器端口
• FLB_CONFIG_FILE: 指定配置文件路径

示例：

bash
docker run -d --name=fluent-bit \
  -e FLB_LOG_LEVEL=debug \
  -e FLB_HTTP_PORT=8080 \
  fluent/fluent-bit

监控与指标

Fluent Bit内置HTTP服务器提供监控指标，默认在2020端口：

bash
curl http://localhost:2020/api/v1/metrics

可获取的指标包括处理的记录数、错误数、输入输出速率等。

持久化数据

Fluent Bit可以配置文件系统缓冲来持久化数据，防止数据丢失：

ini
[SERVICE]
    Flush           5
    Log_Level       info
    HTTP_Server     On
    HTTP_Listen     0.0.0.0
    HTTP_Port       2020
    Storage.path    /var/log/flb-storage/
    Storage.sync    normal
    Storage.checksum off
    Storage.backlog.mem_limit 5M

[INPUT]
    Name            tail
    Path            /var/log/syslog
    Tag             syslog
    Mem_Buf_Limit   5MB
    Storage.type    filesystem

然后挂载存储目录：

bash
docker run -d --name=fluent-bit \
  -v /path/to/fluent-bit.conf:/fluent-bit/etc/fluent-bit.conf \
  -v flb-storage:/var/log/flb-storage/ \
  fluent/fluent-bit

其中flb-storage是Docker卷，用于持久化存储缓冲数据。