amazon查看 Docker Hub 原文页
Fluent Bit镜像,用于日志处理与转发,包含AWS插件以支持与AWS服务集成。
32 次收藏下载次数: 0状态:社区镜像维护者:amazon仓库类型:镜像最近更新:
AWS Fluent Bit Docker 镜像文档
1. 镜像概述和主要用途
AWS Fluent Bit 镜像是由 AWS 官方维护的 Docker 镜像,基于轻量级日志收集器 Fluent Bit 构建,并集成了 AWS 服务专用插件。该镜像旨在简化容器环境(如 Amazon ECS、Amazon EKS、Docker 主机等)中日志数据的收集、处理和转发,支持将日志无缝发送至 Amazon CloudWatch Logs、Amazon Kinesis Data Firehose、Amazon S3 等 AWS 服务,满足日志集中管理、监控和分析需求。
2. 核心功能和特性
2.1 核心功能
- 日志收集:支持从文件、标准输出、容器运行时(如 Docker、Containerd)等多种源收集日志。
- 日志处理:提供过滤、解析、转换等日志处理能力,支持 JSON、CSV 等格式解析。
- AWS 服务集成:通过专用插件直接将日志转发至 Amazon CloudWatch Logs、Kinesis Data Streams、Kinesis Data Firehose、S3 等 AWS 服务。
2.2 关键特性
- 轻量级:基于 Fluent Bit 构建,资源占用低(内存占用通常低于 10MB),适合容器化环境。
- AWS 认证集成:支持通过 IAM 角色(如 ECS 任务角色、EKS 服务账户角色)或访问密钥自动完成 AWS 服务认证,无需手动配置密钥。
- 官方维护:由 AWS 团队持续更新,确保与 Fluent Bit 新版本及 AWS 服务 API 的兼容性。
- 多平台支持:支持 Linux/amd64、Linux/arm64 等主流架构,适配各类容器运行环境。
3. 使用场景和适用范围
3.1 主要使用场景
- 容器日志转发:在 Amazon ECS、Amazon EKS、Docker Swarm 等容器编排平台中,收集容器标准输出日志或文件日志,并发送至 CloudWatch Logs 进行集中存储与监控。
- AWS 环境日志集中管理:将 EC2 实例、ECS 任务、EKS 集群中的应用日志统一收集,通过 Kinesis Data Firehose 流式传输至 S3 进行长期归档,或发送至 Elasticsearch Service 进行日志分析。
- 微服务架构日志处理:在微服务环境中,通过 Fluent Bit 的过滤和解析能力,对分散的服务日志进行结构化处理,再转发至 AWS 分析服务(如 Amazon OpenSearch Service)。
3.2 适用范围
- 运行 Docker 容器的环境(物理机、虚拟机、云实例)。
- Amazon ECS、Amazon EKS 容器集群。
- 需要将日志发送至 AWS 服务(CloudWatch Logs、Kinesis、S3 等)的场景。
4. 使用方法和配置说明
4.1 快速启动
4.1.1 通过 docker run 启动
bashdocker run -d \ --name aws-fluent-bit \ -v /var/log:/var/log:ro \ # 挂载主机日志目录(只读) -v $(pwd)/fluent-bit.conf:/fluent-bit/etc/fluent-bit.conf:ro \ # 挂载自定义配置文件 -e AWS_REGION=us-east-1 \ # 设置 AWS 区域 public.ecr.aws/aws-observability/aws-for-fluent-bit:latest
4.1.2 通过 Docker Compose 启动
创建 docker-compose.yml 文件:
yamlversion: '3' services: aws-fluent-bit: image: public.ecr.aws/aws-observability/aws-for-fluent-bit:latest container_name: aws-fluent-bit volumes: - /var/log:/var/log:ro # 主机日志目录 - ./fluent-bit.conf:/fluent-bit/etc/fluent-bit.conf:ro # 自定义配置文件 environment: - AWS_REGION=us-east-1 - AWS_ACCESS_KEY_ID=AKIAEXAMPLE # 可选,本地测试时使用(生产环境建议通过 IAM 角色认证) - AWS_SECRET_ACCESS_KEY=secret # 可选,本地测试时使用 restart: unless-stopped
启动服务:
bashdocker-compose up -d
4.2 配置说明
4.2.1 配置文件结构
Fluent Bit 配置通过 fluent-bit.conf 文件定义,包含以下核心部分:
- Service:全局配置(如日志级别、工作线程数)。
- Input:定义日志输入源(如文件、容器日志)。
- Filter:定义日志过滤/处理规则(如解析 JSON 日志、添加元数据)。
- Output:定义日志输出目标(如 CloudWatch Logs、Kinesis Data Firehose)。
4.3 环境变量
AWS Fluent Bit 镜像支持通过环境变量配置 AWS 认证及核心参数,常用变量如下:
| 环境变量名 | 描述 | 是否必填 | 默认值 |
|---|---|---|---|
AWS_REGION | AWS 服务区域(如 us-east-1、eu-west-1) | 是 | - |
AWS_ACCESS_KEY_ID | AWS 访问密钥 ID(本地测试用,生产环境建议使用 IAM 角色) | 否 | 从 IAM 角色获取 |
AWS_SECRET_ACCESS_KEY | AWS 密钥(本地测试用,生产环境建议使用 IAM 角色) | 否 | 从 IAM 角色获取 |
FLB_LOG_LEVEL | Fluent Bit 日志级别(error、warn、info、debug) | 否 | info |
4.4 配置示例
4.4.1 收集容器日志并发送至 CloudWatch Logs
创建 fluent-bit.conf 配置文件:
ini[SERVICE] Flush 5 # 每 5 秒刷新一次日志 Log_Level info Daemon off Parsers_File parsers.conf # 引用内置解析器配置 [INPUT] Name tail # 从文件尾部读取日志 Path /var/log/containers/*.log # 容器日志路径(Docker 默认路径) Parser docker # 使用内置 docker 解析器解析 JSON 日志 Tag container.* # 日志标签,格式为 "container.<文件名>" Refresh_Interval 10 # 每 10 秒刷新文件列表 [FILTER] Name kubernetes # 解析 Kubernetes 元数据(如 Pod 名称、命名空间) Match container.* # 匹配 INPUT 中定义的标签 Kube_URL https://kubernetes.default.svc:443 # Kubernetes API 地址(EKS 环境) Kube_CA_File /var/run/secrets/kubernetes.io/serviceaccount/ca.crt # 证书路径 Kube_Token_File /var/run/secrets/kubernetes.io/serviceaccount/token # Token 路径 [OUTPUT] Name cloudwatch_logs # 输出至 CloudWatch Logs Match * # 匹配所有日志 region ${AWS_REGION} # 引用环境变量中的 AWS 区域 log_group_name /aws/ecs/your-cluster-name # CloudWatch 日志组名称 log_stream_name {namespace}/{pod_name}/{container_name} # 日志流名称(使用 Kubernetes 元数据) auto_create_group On # 自动创建日志组
4.5 部署注意事项
- IAM 权限配置:生产环境中,建议为容器(如 ECS 任务角色、EKS 服务账户)绑定包含以下权限的 IAM 策略,避免硬编码密钥:
logs:CreateLogGrouplogs:CreateLogStreamlogs:PutLogEvents
- 配置文件挂载:通过
-v挂载自定义fluent-bit.conf时,确保文件权限正确(容器内用户需有读权限)。 - 资源限制:根据日志量调整容器 CPU/内存限制(建议至少 1 CPU 核心、256MB 内存)。
5. 相关资源
- GitHub 源码与文档:https://github.com/aws/aws-for-fluent-bit
- AWS 官方使用指南:https://docs.aws.amazon.com/AmazonECS/latest/developerguide/using_firelens.html
- Fluent Bit 官方文档:https://docs.fluentbit.io/manual/
amazon 命名空间的其他可用镜像:
镜像拉取方式
您可以使用以下命令拉取该镜像。请将 <标签> 替换为具体的标签版本。如需查看所有可用标签版本,请访问 标签列表页面。
轩辕镜像加速拉取命令点我查看更多 aws-for-fluent-bit 镜像标签
docker pull docker.xuanyuan.run/amazon/aws-for-fluent-bit:<标签>
DockerHub 原生拉取命令
docker pull amazon/aws-for-fluent-bit:<标签>
用户好评
来自真实用户的反馈,见证轩辕镜像的优质服务