picoded/docker-filebeat

picoded/docker-filebeat

镜像概述

本镜像旨在将Docker容器产生的标准化日志推送至Elasticsearch，支持与logrotate工具配合使用，以实现长期的日志管理需求。

核心功能

• 收集Docker容器的JSON格式日志并标准化
• 通过正则规则过滤不需要的噪音日志行
• 批量将日志提交至Elasticsearch
• 支持日志提交时的压缩（AWS Elasticsearch除外）
• 限制单条日志行大小及批量提交大小，避免请求过大

使用场景

• Docker容器日志的集中存储与管理
• 与Elasticsearch结合进行日志检索与分析
• 需要长期保存日志并定期轮转的场景

配置说明

以下环境变量可用于配置镜像行为：

# Docker容器日志文件路径
ENV LOG_PATH     "/var/lib/docker/containers/*/*-json.log"

# 过滤日志行的正则规则（排除特定噪音日志）
ENV LOG_EXCLUDE_LINE ".*(([0-9]{2}\[(KNL|IKE|MGR|NET)\])|(POST /_bulk HTTP/1.1\" 200 [0-9]* \"-\" \"Go-http-client/1.1)|(level\=debug.*io\.rancher)).*"

# 单条日志行的最大字节数
ENV LOG_LINE_MAX 900000

# Elasticsearch主机地址
ENV ES_HOST    elasticsearch

# Elasticsearch端口
ENV ES_PORT    9200

# Elasticsearch索引名称（支持日期格式化）
ENV ES_INDEX  "docker-filebeat-%{[beat.version]}-%{+yyyy.MM.dd}"

# 日志提交的压缩级别（0-9，AWS Elasticsearch不支持）
ENV ES_COMPRESSION 0

# 批量提交的日志行数
ENV ES_BATCHSIZE 10

部署示例

Docker Run命令

bash
docker run -d \
  --name docker-filebeat \
  -v /var/lib/docker/containers/:/var/lib/docker/containers/:rw \
  -v /var/lib/filebeat/:/var/lib/filebeat/:rw \
  -e ES_HOST=your-elasticsearch-host \
  -e ES_PORT=9200 \
  picoded/docker-filebeat

注意事项

• 需确保挂载的卷具有读写权限
• 本镜像并非为实时（0秒延迟）日志推送设计
• 任何问题可提交至GitHub仓库：https://github.com/picoded/dockerfiles