artsy/artsy-fluentd

镜像概述

本镜像基于官方Fluentd构建，是针对日志收集场景定制化的轻量级数据收集器。通过预集成常用插件、优化默认配置，简化日志从采集到转发的全流程，适用于需要快速部署日志集中管理系统的场景。

核心功能与特性

• 插件预集成：内置常用输入（tail、http、tcp）、过滤（grep、record_transformer）、输出（elasticsearch、s3、stdout）插件，无需额外安装
• 配置优化：默认配置文件针对性能与兼容性优化，降低资源占用（内存≤64MB，CPU使用率≤5%）
• 灵活定制：支持挂载外部配置文件覆盖默认设置，适配个性化日志处理需求
• 多源适配：支持文件日志、容器日志（Docker/Kubernetes）、应用API日志等多类型数据源
• 高可靠性：内置缓冲机制，防止数据丢失，支持断点续传

使用场景

• 容器化环境日志收集：Kubernetes/Docker集群中Pod/容器日志的实时采集与转发
• 应用系统日志聚合：Web服务、数据库、中间件等多系统日志的集中收集与统一格式处理
• 日志数据预处理：对原始日志进行过滤、字段提取、格式转换后转发至存储或分析平台（如Elasticsearch、Splunk、Kafka）
• 跨平台日志同步：实现多云/混合云环境下的日志数据统一归集

使用方法与配置说明

基本运行命令

bash
docker run -d \
  --name customized-fluentd \
  -v /path/to/host/logs:/var/log \  # 挂载需收集的日志目录
  -v /path/to/custom/conf:/fluentd/etc \  # 挂载自定义配置文件（可选）
  customized-fluentd:latest

配置文件说明

默认配置文件路径：/fluentd/etc/fluent.conf，基础结构如下：

xml
<source>
  @type tail
  path /var/log/nginx/access.log  # 日志文件路径
  pos_file /var/log/fluentd/nginx.pos  # 记录读取位置
  tag nginx.access  # 日志标签
  <parse>
    @type nginx  # 内置Nginx日志解析器
  </parse>
</source>

<filter nginx.access>
  @type grep
  <exclude>
    key status
    pattern /404/  # 过滤404状态码日志
  </exclude>
</filter>

<match nginx.access>
  @type elasticsearch
  host es.example.com  # Elasticsearch地址
  port 9200
  index_name nginx-access-${time_slice_format}
  time_slice_format %Y%m%d  # 按日创建索引
</match>

自定义配置时，通过-v /path/to/custom/conf:/fluentd/etc挂载包含fluent.conf的目录即可覆盖默认配置

环境变量配置

支持通过环境变量调整核心参数，常用变量如下：

Docker Compose示例

yaml
version: '3'
services:
  fluentd:
    image: customized-fluentd:latest
    container_name: fluentd-collector
    volumes:
      - ./host-logs:/var/log  # 宿主机日志目录
      - ./fluentd-conf:/fluentd/etc  # 自定义配置目录
    environment:
      - LOG_LEVEL=debug
      - ELASTICSEARCH_HOST=es-service  # 关联Elasticsearch服务
    depends_on:
      - es-service  # 依赖Elasticsearch服务启动

  es-service:
    image: elasticsearch:8.10.4
    environment:
      - discovery.type=single-node
    ports:
      - "9200:9200"

插件管理

如需添加额外插件，可通过在自定义配置目录中创建Gemfile并挂载，示例：

ruby
# /path/to/custom/conf/Gemfile
source "https://rubygems.org"
gem "fluentd"
gem "fluent-plugin-kafka"  # 添加Kafka输出插件

运行时会自动安装Gemfile中指定的插件。