digitalwonderland/logstash-forwarder

Docker Logstash集成


将Docker（包括容器内）的所有日志通过logstash-forwarder（又名lumberjack）发送到Logstash。

核心功能

• 收集Docker主机日志文件及容器内日志
• 监听Docker事件，自动刷新logstash-forwarder配置
• 支持容器内自定义日志配置（需放置/etc/logstash-forwarder.conf）
• 灵活的连接配置（Docker、Logstash）
• 支持证书认证处理

使用场景

• 微服务架构下的Docker日志集中管理
• 需要实时收集和分析Docker环境日志的场景
• 简化日志转发配置流程的场景

配置说明

挂载Docker数据目录

需以只读方式挂载Docker数据目录到容器的/var/lib/docker：

bash
-v /var/lib/docker:/var/lib/docker:ro

连接Docker

支持三种方式（优先级从高到低）：

1. 通过-docker命令行参数指定
2. 环境变量$DOCKER_HOST
3. 默认unix:///var/run/docker.sock（推荐挂载：-v /var/run/docker.sock:/var/run/docker.sock）

连接Logstash

支持三种方式（优先级从高到低）：

1. 通过-logstash命令行参数指定
2. 环境变量$LOGSTASH_HOST
3. 默认logstash:5043（推荐使用--link logstash:logstash链接Logstash容器）

证书处理

• 通过-config参数指定包含证书和密钥的自定义配置（仅network部分生效）
• 将密钥放置在/mnt/logstash-forwarder目录下

快速启动示例

假设已运行digitalwonderland/elasticsearch和digitalwonderland/logstash容器：

bash
docker pull digitalwonderland/logstash-forwarder
docker run -d --name logstash-forwarder \
  -v /var/lib/docker:/var/lib/docker:ro \
  -v /var/run/docker.sock:/var/run/docker.sock \
  --link logstash:logstash \
  --volumes-from logstash \
  digitalwonderland/logstash-forwarder

已知问题

1. 需以root用户运行容器，因/var/lib/docker目录默认由root拥有且只读挂载。
2. 容器内容在主机文件系统的路径需根据Docker驱动（aufs、btrfs、devicemapper、overlay）推测，因Docker未通过API暴露该路径。