zlosim/zmq-fluent-bit

Fluent Bit 镜像文档

镜像概述和主要用途

Fluent Bit是一个快速的日志处理器和转发器，适用于Linux、嵌入式Linux、MacOS和BSD系列操作系统。它是Fluentd生态系统的一部分，也是CNCF（Cloud Native Computing Foundation）子项目。Fluent Bit允许从不同来源收集日志事件或指标，进行处理后将其发送到各种后端，如Fluentd、Elasticsearch、NATS、InfluxDB或任何自定义HTTP端点。此外，Fluent Bit还具备完整的流处理能力，可使用SQL查询进行数据操作和分析。支持x86_64、x86、arm32v7和arm64v8架构。

核心功能和特性

• 高性能：高效处理日志和指标数据
• 数据解析：支持多种解析器，包括JSON、Regex（正则表达式）、LTSV和Logfmt，可转换非结构化消息
• 可靠性和数据完整性：
  • 背压处理
  • 内存和文件系统数据缓冲
• 网络功能：
  • 安全性：内置TLS/SSL支持
  • 异步I/O
• 插件架构和可扩展性：输入、过滤器和输出插件
  • 超过50个内置插件
  • 可扩展性：
    • 使用C语言编写任何输入、过滤器或输出插件
    • 额外支持：使用Lua编写过滤器或Golang编写输出插件
• 监控：通过HTTP以JSON和Prometheus格式公开内部指标
• 流处理：使用简单SQL查询执行数据选择和转换
  • 使用查询结果创建新数据流
  • 聚合窗口
  • 数据分析和预测：时间序列预测
• 可移植性：运行于Linux、MacOS、Windows和BSD系统

使用场景和适用范围

Fluent Bit广泛应用于生产环境，2019年部署次数超过6200万次。适用于以下场景：

• 容器化环境（如Kubernetes）中的日志收集和转发
• 嵌入式系统日志处理
• 云原生应用监控和日志聚合
• 多平台日志集中管理
• 需要实时流处理和数据分析的场景

详细使用方法和配置说明

Docker部署示例

基本运行命令

以下命令启动Fluent Bit，从CPU输入收集指标并输出到标准输出：

bash
docker run -ti fluent/fluent-bit:latest /fluent-bit/bin/fluent-bit -i cpu -o stdout -f 1

使用自定义配置文件

创建自定义配置文件fluent-bit.conf，然后挂载到容器中：

bash
docker run -ti -v $(pwd)/fluent-bit.conf:/fluent-bit/etc/fluent-bit.conf fluent/fluent-bit:latest

示例配置文件（fluent-bit.conf）：

ini
[SERVICE]
    Flush        1
    Log_Level    info
    Daemon       off
    Parsers_File parsers.conf

[INPUT]
    Name         cpu
    Tag          cpu

[OUTPUT]
    Name         stdout
    Match        *

Docker Compose配置

创建docker-compose.yml：

yaml
version: '3'

services:
  fluent-bit:
    image: fluent/fluent-bit:latest
    volumes:
      - ./fluent-bit.conf:/fluent-bit/etc/fluent-bit.conf
      - ./parsers.conf:/fluent-bit/etc/parsers.conf
    ports:
      - "2020:2020"  # 监控端口
    restart: unless-stopped

启动服务：

bash
docker-compose up -d

插件说明

Fluent Bit基于插件架构，数据 pipeline 包含输入、过滤器和输出插件。

输入插件（Inputs）

####过滤器插件（Filters）

输出插件（Outputs）

官方文档

完整的安装、配置、部署和开发文档请参考：[***]

许可证

本程序遵循Apache License v2.0条款。