logzio/fluent-bit-output

Logz.io-Out Plugin for Fluent Bit 镜像文档

镜像概述和主要用途

Logz.io-Out Plugin for Fluent Bit 是一个专为 Fluent Bit 设计的输出插件镜像，用于将通过 Fluent Bit 收集的日志数据高效转发至 Logz.io 日志管理平台。其核心用途是作为日志数据管道的关键组件，实现从数据收集端（Fluent Bit）到日志分析平台（Logz.io）的无缝对接，支持用户在 Logz.io 中对日志进行集中存储、检索、分析及可视化监控。

核心功能和特性

核心功能

• Fluent Bit 原生集成：与 Fluent Bit 数据处理管道深度兼容，支持通过 Fluent Bit 配置文件直接调用插件。
• 日志定向转发：将 Fluent Bit 收集的结构化/非结构化日志数据按配置规则转发至 Logz.io 平台。
• 数据格式适配：自动适配 Logz.io 日志接收格式，确保数据完整性和可用性。

关键特性

• 安全传输：支持 TLS 加密传输，保障日志数据在传输过程中的安全性。
• 灵活配置：支持通过环境变量或配置文件自定义 Logz.io 目标参数（如令牌、区域等）。
• 轻量高效：基于 Fluent Bit 插件架构，资源占用低，转发性能高，适用于高并发日志场景。
• 错误重试：内置基础重试机制，提升日志传输的可靠性。

使用场景和适用范围

适用场景

• 容器化应用日志管理：Docker、Kubernetes 等容器环境中，通过 Fluent Bit 收集容器日志并转发至 Logz.io。
• 微服务架构日志聚合：分布式微服务环境下，集中收集各服务日志并统一发送至 Logz.io 进行关联分析。
• 云环境日志集中化：AWS、Azure、GCP 等云平台中，通过 Fluent Bit 收集云资源日志（如 VM、容器、数据库）并同步至 Logz.io。
• 混合架构日志整合：物理机、虚拟机与云资源混合部署场景下，实现跨环境日志的统一管理。

适用范围

• 用户需将日志数据发送至 Logz.io 平台进行分析的场景。
• 已采用 Fluent Bit 作为日志收集工具的技术栈。
• 需要轻量级、高性能日志转发组件的环境（如边缘计算、资源受限场景）。

使用方法和配置说明

前置条件

• 已获取 Logz.io 账户及日志发送令牌（可从 Logz.io 控制台的“设置 > 账户 > 日志令牌”中获取）。
• 已安装 Docker 环境（用于运行插件容器）。
• 已部署 Fluent Bit 实例（作为日志收集端，需与插件容器网络互通）。

1. Docker 快速启动

通过 docker run 命令直接启动插件容器，需挂载 Fluent Bit 配置文件并配置 Logz.io 参数：

bash
docker run -d \
  --name fluent-bit-logzio \
  -v /path/to/fluent-bit.conf:/fluent-bit/etc/fluent-bit.conf \
  -e LOGZIO_TOKEN="your-logzio-token" \
  -e LOGZIO_REGION="us"  # 可选，默认 "us"，其他区域如 "eu"、"au" 等
  logzio/fluent-bit-logzio-output

说明：

• /path/to/fluent-bit.conf：本地 Fluent Bit 配置文件路径，需在配置中指定 [OUTPUT] 段调用 logzio 插件（见下文配置示例）。
• LOGZIO_TOKEN：必填，Logz.io 账户的日志发送令牌，用于身份验证。

2. Docker Compose 配置示例

通过 docker-compose.yml 定义 Fluent Bit 与 Logz.io 插件的联动部署（适用于单机测试或小型环境）：

yaml
version: '3'

services:
  fluent-bit:
    image: fluent/fluent-bit:latest
    volumes:
      - ./fluent-bit.conf:/fluent-bit/etc/fluent-bit.conf  # 挂载配置文件
      - /var/log:/var/log  # 挂载宿主机日志目录（示例，根据实际收集目标调整）
    depends_on:
      - logzio-plugin

  logzio-plugin:
    image: logzio/fluent-bit-logzio-output
    environment:
      - LOGZIO_TOKEN=your-logzio-token  # 替换为实际令牌
      - LOGZIO_REGION=eu  # 替换为实际区域（如 "us"、"au"）
      - LOGZIO_LOG_TYPE=my-app-logs  # 可选，自定义日志类型标签
    networks:
      - log-network  # 确保与 Fluent Bit 在同一网络

networks:
  log-network:
    driver: bridge

Fluent Bit 配置文件示例（fluent-bit.conf）：

ini
[SERVICE]
    Flush        5  # 日志刷新间隔（秒）
    Log_Level    info
    Daemon       off
    Parsers_File parsers.conf

[INPUT]
    Name         tail  # 示例：收集文件日志
    Path         /var/log/*.log  # 日志文件路径
    Tag          host.log  # 日志标签（用于后续过滤）

[OUTPUT]
    Name         logzio  # 使用 Logz.io 插件
    Match        *  # 匹配所有日志流（可按 Tag 过滤，如 "host.log"）
    logzio_token ${LOGZIO_TOKEN}  # 引用环境变量中的令牌
    logzio_region ${LOGZIO_REGION}  # 引用环境变量中的区域
    tls          on  # 启用 TLS 加密
    tls.verify   on  # 验证 TLS 证书

3. 配置参数详解

插件支持通过环境变量或 Fluent Bit 配置文件（[OUTPUT] 段）定义参数，常用配置项如下：

注意事项

1. 令牌安全性：logzio_token 为敏感信息，建议通过环境变量注入（如 Docker --env 或 Kubernetes Secrets），避免硬编码在配置文件中。
2. 网络连通性：确保插件容器可访问 Logz.io 区域端点（如 listener.logz.io:8071 对应美国区域），需开放出站网络端口（TLS 加密默认使用 8071 端口）。
3. 版本兼容性：插件版本需与 Fluent Bit 版本兼容，推荐使用最新稳定版，详细兼容性参考 https://github.com/logzio/fluent-bit-logzio-output%E3%80%82
4. 性能调优：高流量场景下，可调整 buffer_max_size 及 Fluent Bit Flush 间隔，平衡性能与资源占用。

参考链接

• 官方文档
• https://github.com/logzio/fluent-bit-logzio-output