comfy/fluentd

fluentd-es-aws 镜像文档

镜像概述

fluentd-es-aws是一个集成了Ruby gem aws-elasticsearch插件的Fluentd容器镜像。该镜像旨在简化日志数据从各类源收集并发送至AWS Elasticsearch服务的过程，提供开箱即用的AWS Elasticsearch集成能力。

核心功能和特性

• Fluentd日志收集引擎：内置Fluentd核心组件，支持文件、HTTP、TCP、UDP等多种日志输入源
• aws-elasticsearch插件：预安装Ruby gem形式的AWS Elasticsearch插件，实现与AWS Elasticsearch服务的无缝对接
• AWS认证支持：集成AWS签名认证机制，支持通过IAM凭证安全访问AWS Elasticsearch服务
• 轻量级设计：基于官方Fluentd镜像优化，体积小巧，资源占用低，易于部署和扩展

使用场景和适用范围

• 云环境日志管理：适用于AWS ECS、EKS、EC2等环境中的应用日志、系统日志集中收集与转发
• 日志分析流水线：作为日志数据管道的关键组件，将原始日志数据标准化后发送至AWS Elasticsearch进行存储和分析
• 容器化应用监控：配合Kubernetes、Docker Swarm等容器编排平台，实现容器日志的统一收集与分析
• AWS Elasticsearch集成场景：需通过IAM认证访问AWS Elasticsearch服务的各类日志处理需求

使用方法和配置说明

基本使用（docker run）

bash
docker run -d \
  --name fluentd-es-aws \
  -v /path/to/your/fluentd/config:/fluentd/etc \
  -e AWS_ACCESS_KEY_ID=your_aws_access_key \
  -e AWS_SECRET_ACCESS_KEY=your_aws_secret_key \
  -e ES_ENDPOINT=https://your-elasticsearch-endpoint.region.es.amazonaws.com \
  -e AWS_REGION=us-west-2 \
  fluend-es-aws

配置文件示例（fluentd.conf）

conf
# 输入配置：收集Nginx访问日志
<source>
  @type tail
  path /var/log/nginx/access.log
  pos_file /fluentd/log/nginx.access.pos
  tag nginx.access
  <parse>
    @type nginx
  </parse>
</source>

# 输出配置：发送至AWS Elasticsearch
<match nginx.access>
  @type elasticsearch
  host "#{ENV['ES_ENDPOINT']}"
  port 443
  scheme https
  index_name nginx-access-logs-%Y%m%d
  aws_access_key_id "#{ENV['AWS_ACCESS_KEY_ID']}"
  aws_secret_access_key "#{ENV['AWS_SECRET_ACCESS_KEY']}"
  aws_region "#{ENV['AWS_REGION']}"
  logstash_format true
  logstash_prefix nginx-access
</match>

环境变量说明

docker-compose配置示例

yaml
version: '3.8'
services:
  fluentd:
    image: fluend-es-aws
    container_name: fluentd-es-aws
    restart: always
    volumes:
      - ./fluentd/config:/fluentd/etc
      - /var/log/nginx:/var/log/nginx:ro
    environment:
      - AWS_ACCESS_KEY_ID=AKIAEXAMPLE123
      - AWS_SECRET_ACCESS_KEY=secret123example
      - ES_ENDPOINT=[***]
      - AWS_REGION=us-west-2
    networks:
      - logging-network

networks:
  logging-network:
    driver: bridge