perionnet/fluentd-s3-data

fluentd-s3-data 镜像文档

镜像概述

fluentd-s3-data是一个基于Fluentd的Docker镜像，主要用途是实现数据的流式收集、处理并将数据传输至Amazon S3存储服务。适用于需要将日志、监控数据等实时或批量存储到S3的场景。

核心功能与特性

• 基于Fluentd构建，支持丰富的数据收集和处理能力
• 集成S3输出插件，可直接将数据流式传输至Amazon S3
• 支持通过环境变量配置AWS认证信息（访问密钥、密钥、会话令牌）
• 可通过挂载配置文件自定义Fluentd的输入源、过滤规则和输出设置
• 暴露Fluentd标准端口（24224、24220）及监控端口（9880）

使用场景

• 应用日志集中收集并存储到S3进行长期归档
• 服务器/容器监控数据实时传输至S3用于后续分析
• 批量数据处理流程中，将中间结果或最终数据存储到S3
• 需要跨环境数据聚合并统一存储到S3的场景

使用方法

镜像构建

bash
docker build -t perionnet/fluentd-s3-data:latest .

基础运行命令

bash
docker run -p 24224:24224 -p 24220:24220 \
  -v /本地配置文件路径:/fluentd/etc \
  docker.xuanyuan.run/perionnet/fluentd-s3-data:latest

本地开发环境运行（含AWS认证）

bash
docker run -p 24224:24224 -p 24220:24220 -p 9880:9880 \
  -e AWS_ACCESS_KEY_ID="你的AWS访问密钥ID" \
  -e AWS_SECRET_ACCESS_KEY="你的AWS密钥" \
  -e AWS_SESSION_TOKEN="你的AWS会话令牌（如使用临时凭证）" \
  -v /本地配置文件路径:/fluentd/etc \
  docker.xuanyuan.run/perionnet/fluentd-s3-data:latest

参数说明

端口映射

• 24224: Fluentd默认接收数据的TCP端口
• 24220: Fluentd默认接收数据的UDP端口
• 9880: Fluentd监控端口（用于查看服务状态和 metrics）

环境变量

• AWS_ACCESS_KEY_ID: AWS访问密钥ID，用于S3认证
• AWS_SECRET_ACCESS_KEY: AWS密钥，用于S3认证
• AWS_SESSION_TOKEN: 可选，AWS临时会话令牌（当使用IAM角色或临时凭证时需要）

卷挂载

• /fluentd/etc: Fluentd配置文件目录，通过挂载本地目录可自定义配置（如fluent.conf），配置文件需包含S3输出插件的相关设置。

配置示例

典型的Fluentd配置文件（fluent.conf）示例：

conf
<source>
  @type forward
  port 24224
</source>

<match **>
  @type s3
  aws_key_id "#{ENV['AWS_ACCESS_KEY_ID']}"
  aws_sec_key "#{ENV['AWS_SECRET_ACCESS_KEY']}"
  aws_session_token "#{ENV['AWS_SESSION_TOKEN']}"
  s3_bucket "your-s3-bucket-name"
  s3_region "us-east-1"
  path "logs/%Y/%m/%d/"
  buffer_path /fluentd/buffer/s3
  time_slice_format %Y%m%d%H
  time_slice_wait 10m
  format json
</match>