forkdelta/fluentd-elasticsearch

fluent/fluentd (含fluent-plugin-elasticsearch插件) 镜像文档

镜像概述

本镜像基于Fluentd官方镜像构建，预集成fluent-plugin-elasticsearch插件，提供一站式日志收集、处理及向Elasticsearch发送日志数据的能力。Fluentd作为开源数据收集器，采用灵活插件架构支持多源日志采集；fluent-plugin-elasticsearch插件则专门用于将处理后的日志高效写入Elasticsearch，适用于构建集中式日志管理和分析系统。

核心功能与特性

• 多源日志收集：支持从文件、标准输入、TCP/UDP端口等多种数据源采集日志
• 日志处理能力：提供过滤、转换、结构化处理（如JSON格式化、字段提取）等功能
• Elasticsearch集成：通过预安装插件直接将日志数据发送至Elasticsearch集群
• 轻量级设计：基于官方Fluentd镜像，保持较小体积，适合容器化部署
• 灵活配置：支持通过配置文件自定义日志采集规则、处理逻辑及Elasticsearch连接参数

使用场景与适用范围

• 微服务架构日志管理：收集分布式微服务日志，集中存储至Elasticsearch用于问题排查
• 云环境日志处理：适用于AWS、Azure、Kubernetes等环境，统一采集容器、应用及系统日志
• 日志分析平台构建：与Elasticsearch、Kibana配合，构建完整日志分析平台
• 企业级日志集中化：满足多源日志统一收集、处理和存储需求

使用方法与配置说明

基本使用（docker run）

bash
docker run -d \
  --name fluentd-elasticsearch \
  -v /path/to/fluentd/config:/fluentd/etc \
  -e FLUENT_ELASTICSEARCH_HOST=elasticsearch-host \
  -e FLUENT_ELASTICSEARCH_PORT=9200 \
  fluent/fluentd:latest

关键配置说明

环境变量

配置文件示例（fluent.conf）

在挂载的配置目录（如/path/to/fluentd/config）中创建fluent.conf文件：

conf
<source>
  @type forward
  port 24224
  bind 0.0.0.0
</source>

<match **>
  @type elasticsearch
  host "#{ENV['FLUENT_ELASTICSEARCH_HOST']}"
  port "#{ENV['FLUENT_ELASTICSEARCH_PORT']}"
  scheme "#{ENV['FLUENT_ELASTICSEARCH_SCHEME']}"
  user "#{ENV['FLUENT_ELASTICSEARCH_USER']}"
  password "#{ENV['FLUENT_ELASTICSEARCH_PASSWORD']}"
  index_name "#{ENV['FLUENT_ELASTICSEARCH_INDEX_NAME']}"
  logstash_format true
  logstash_prefix fluentd
  flush_interval 5s
</match>

Docker Compose示例

yaml
version: '3'
services:
  fluentd:
    image: fluent/fluentd:latest
    container_name: fluentd-elasticsearch
    volumes:
      - ./fluentd/config:/fluentd/etc
    environment:
      - FLUENT_ELASTICSEARCH_HOST=elasticsearch
      - FLUENT_ELASTICSEARCH_PORT=9200
      - FLUENT_ELASTICSEARCH_INDEX_NAME=app-logs
    ports:
      - "24224:24224"
    depends_on:
      - elasticsearch

  elasticsearch:
    image: docker.elastic.co/elasticsearch/elasticsearch:8.10.4
    container_name: elasticsearch
    environment:
      - discovery.type=single-node
      - xpack.security.enabled=false
    ports:
      - "9200:9200"

注意事项

• 确保Elasticsearch服务可被Fluentd容器访问，网络配置需正确（如同一网络、端口开放）
• 大规模日志场景建议调整flush_interval、buffer_chunk_limit等参数优化性能
• Elasticsearch启用认证或HTTPS时，需配置对应认证参数及协议
• 可通过Fluentd其他插件（如fluent-plugin-parser）扩展日志处理能力