sstarcher/fluent-redis-aws

docker-fluent-redis-aws

Fluentd容器，用于将Docker日志发送到Redis队列

镜像概述

本容器旨在收集主机上所有容器的日志，以JSON格式发送到Redis队列，并为每条日志添加容器相关信息。同时支持通过环境变量传入AWS_STACK和AWS_INSTANCE_ID字段（若未提供则为空）。

核心功能

• 收集主机上所有Docker容器的日志
• 将日志转换为JSON格式并发送到Redis队列
• 添加容器元数据（ID、名称、镜像、标签等）
• 支持通过环境变量添加AWS_STACK和AWS_INSTANCE_ID字段
• 兼容Kubernetes元数据收集

使用场景

适用于需要集中收集和存储Docker容器日志的场景，尤其适合基于CoreOS和AWS环境的部署，方便后续日志分析或处理。

配置说明

构建自定义镜像

若需自定义配置，可克隆仓库修改Dockerfile和配置文件，然后执行：

bash
docker build -t fluent-redis-aws .

运行容器

bash
docker run -d \
  -v /var/lib/docker/containers:/fluent/containers \
  -v /var/run/docker.sock:/var/run/docker.sock \
  fluent-redis-aws

注意：

• 必须挂载/var/lib/docker/containers目录，否则容器无法获取日志；
• 若无需容器元数据，可移除配置中的docker_metadata过滤器，此时无需挂载/var/run/docker.sock。

Redis配置自定义

参考https://github.com/pokehanai/fluent-plugin-redis-store%E4%BF%AE%E6%94%B9Redis%E8%BF%9E%E6%8E%A5%E4%BF%A1%E6%81%AF%EF%BC%88%E9%BB%98%E8%AE%A4%E4%BD%BF%E7%94%A8RPUSH%E5%88%B0%60logspout%60%E5%88%97%E8%A1%A8%EF%BC%89%E3%80%82

调试方法

配置文件中包含注释的file类型匹配块，取消注释并注释redis_store块，可将日志输出到文件：

bash
# 进入容器查看日志
docker exec -it [容器ID] /bin/bash
tail -f /var/log/docker/*.log

添加Gems

• 直接在Dockerfile中添加gem install命令；
• 自定义Gems可放入/gems目录。

更多Fluentd信息请参考官方文档。