amazon/aws-for-fluent-bit

AWS Fluent Bit Docker 镜像文档

1. 镜像概述和主要用途

AWS Fluent Bit 镜像是由 AWS 官方维护的 Docker 镜像，基于轻量级日志收集器 Fluent Bit 构建，并集成了 AWS 服务专用插件。该镜像旨在简化容器环境（如 Amazon ECS、Amazon EKS、Docker 主机等）中日志数据的收集、处理和转发，支持将日志无缝发送至 Amazon CloudWatch Logs、Amazon Kinesis Data Firehose、Amazon S3 等 AWS 服务，满足日志集中管理、监控和分析需求。

2. 核心功能和特性

2.1 核心功能

• 日志收集：支持从文件、标准输出、容器运行时（如 Docker、Containerd）等多种源收集日志。
• 日志处理：提供过滤、解析、转换等日志处理能力，支持 JSON、CSV 等格式解析。
• AWS 服务集成：通过专用插件直接将日志转发至 Amazon CloudWatch Logs、Kinesis Data Streams、Kinesis Data Firehose、S3 等 AWS 服务。

2.2 关键特性

• 轻量级：基于 Fluent Bit 构建，资源占用低（内存占用通常低于 10MB），适合容器化环境。
• AWS 认证集成：支持通过 IAM 角色（如 ECS 任务角色、EKS 服务账户角色）或访问密钥自动完成 AWS 服务认证，无需手动配置密钥。
• 官方维护：由 AWS 团队持续更新，确保与 Fluent Bit 新版本及 AWS 服务 API 的兼容性。
• 多平台支持：支持 Linux/amd64、Linux/arm64 等主流架构，适配各类容器运行环境。

3. 使用场景和适用范围

3.1 主要使用场景

• 容器日志转发：在 Amazon ECS、Amazon EKS、Docker Swarm 等容器编排平台中，收集容器标准输出日志或文件日志，并发送至 CloudWatch Logs 进行集中存储与监控。
• AWS 环境日志集中管理：将 EC2 实例、ECS 任务、EKS 集群中的应用日志统一收集，通过 Kinesis Data Firehose 流式传输至 S3 进行长期归档，或发送至 Elasticsearch Service 进行日志分析。
• 微服务架构日志处理：在微服务环境中，通过 Fluent Bit 的过滤和解析能力，对分散的服务日志进行结构化处理，再转发至 AWS 分析服务（如 Amazon OpenSearch Service）。

3.2 适用范围

• 运行 Docker 容器的环境（物理机、虚拟机、云实例）。
• Amazon ECS、Amazon EKS 容器集群。
• 需要将日志发送至 AWS 服务（CloudWatch Logs、Kinesis、S3 等）的场景。

4. 使用方法和配置说明

4.1 快速启动

4.1.1 通过 docker run 启动

bash
docker run -d \
  --name aws-fluent-bit \
  -v /var/log:/var/log:ro \  # 挂载主机日志目录（只读）
  -v $(pwd)/fluent-bit.conf:/fluent-bit/etc/fluent-bit.conf:ro \  # 挂载自定义配置文件
  -e AWS_REGION=us-east-1 \  # 设置 AWS 区域
  public.ecr.aws/aws-observability/aws-for-fluent-bit:latest

4.1.2 通过 Docker Compose 启动

创建 docker-compose.yml 文件：

yaml
version: '3'
services:
  aws-fluent-bit:
    image: public.ecr.aws/aws-observability/aws-for-fluent-bit:latest
    container_name: aws-fluent-bit
    volumes:
      - /var/log:/var/log:ro  # 主机日志目录
      - ./fluent-bit.conf:/fluent-bit/etc/fluent-bit.conf:ro  # 自定义配置文件
    environment:
      - AWS_REGION=us-east-1
      - AWS_ACCESS_KEY_ID=AKIAEXAMPLE  # 可选，本地测试时使用（生产环境建议通过 IAM 角色认证）
      - AWS_SECRET_ACCESS_KEY=secret  # 可选，本地测试时使用
    restart: unless-stopped

启动服务：

bash
docker-compose up -d

4.2 配置说明

4.2.1 配置文件结构

Fluent Bit 配置通过 fluent-bit.conf 文件定义，包含以下核心部分：

• Service：全局配置（如日志级别、工作线程数）。
• Input：定义日志输入源（如文件、容器日志）。
• Filter：定义日志过滤/处理规则（如解析 JSON 日志、添加元数据）。
• Output：定义日志输出目标（如 CloudWatch Logs、Kinesis Data Firehose）。

4.3 环境变量

AWS Fluent Bit 镜像支持通过环境变量配置 AWS 认证及核心参数，常用变量如下：

4.4 配置示例

4.4.1 收集容器日志并发送至 CloudWatch Logs

创建 fluent-bit.conf 配置文件：

ini
[SERVICE]
    Flush               5  # 每 5 秒刷新一次日志
    Log_Level           info
    Daemon              off
    Parsers_File        parsers.conf  # 引用内置解析器配置

[INPUT]
    Name                tail  # 从文件尾部读取日志
    Path                /var/log/containers/*.log  # 容器日志路径（Docker 默认路径）
    Parser              docker  # 使用内置 docker 解析器解析 JSON 日志
    Tag                 container.*  # 日志标签，格式为 "container.<文件名>"
    Refresh_Interval    10  # 每 10 秒刷新文件列表

[FILTER]
    Name                kubernetes  # 解析 Kubernetes 元数据（如 Pod 名称、命名空间）
    Match               container.*  # 匹配 INPUT 中定义的标签
    Kube_URL            https://kubernetes.default.svc:443  # Kubernetes API 地址（EKS 环境）
    Kube_CA_File        /var/run/secrets/kubernetes.io/serviceaccount/ca.crt  # 证书路径
    Kube_Token_File     /var/run/secrets/kubernetes.io/serviceaccount/token  # Token 路径

[OUTPUT]
    Name                cloudwatch_logs  # 输出至 CloudWatch Logs
    Match               *  # 匹配所有日志
    region              ${AWS_REGION}  # 引用环境变量中的 AWS 区域
    log_group_name      /aws/ecs/your-cluster-name  # CloudWatch 日志组名称
    log_stream_name     {namespace}/{pod_name}/{container_name}  # 日志流名称（使用 Kubernetes 元数据）
    auto_create_group   On  # 自动创建日志组

4.5 部署注意事项

• IAM 权限配置：生产环境中，建议为容器（如 ECS 任务角色、EKS 服务账户）绑定包含以下权限的 IAM 策略，避免硬编码密钥：
  • logs:CreateLogGroup
  • logs:CreateLogStream
  • logs:PutLogEvents
• 配置文件挂载：通过 -v 挂载自定义 fluent-bit.conf 时，确保文件权限正确（容器内用户需有读权限）。
• 资源限制：根据日志量调整容器 CPU/内存限制（建议至少 1 CPU 核心、256MB 内存）。

5. 相关资源

• GitHub 源码与文档：https://github.com/aws/aws-for-fluent-bit
• AWS 官方使用指南：[***]
• Fluent Bit 官方文档：[***]