aptible/gentlemanjerry

Docker容器日志转发镜像

镜像概述

本镜像为Logstash的包装器，专门设计用于简化Docker容器日志的收集与转发流程。它集成了Logstash的日志处理能力，提供针对Docker环境优化的配置，帮助用户高效地将容器日志转发至指定目标系统。

核心功能与特性

• Docker日志集成：与Docker日志驱动无缝对接，支持收集容器标准输出(stdout/stderr)日志
• Logstash核心能力：继承Logstash的日志过滤、转换、丰富等处理功能
• 多目标输出：支持将日志转发至Elasticsearch、Kafka、文件、Syslog等多种目标
• 简化配置：提供Docker环境专用配置模板，减少手动配置工作
• 轻量级部署：容器化设计，可直接在Docker环境中部署运行

使用场景与适用范围

• 微服务架构中容器日志的集中收集与管理
• Docker容器化应用的日志监控与分析
• 需要将容器日志转发至集中式日志平台的场景
• DevOps环境中日志数据的实时处理与流转

使用方法与配置说明

基本使用（Docker Run）

bash
docker run -d \
  --name docker-log-forwarder \
  -v /var/run/docker.sock:/var/run/docker.sock \
  -v /var/lib/docker/containers:/var/lib/docker/containers:ro \
  -e LOGSTASH_OUTPUT_DESTINATION=elasticsearch \
  -e ELASTICSEARCH_HOST=es.example.com \
  -e ELASTICSEARCH_PORT=9200 \
  your-image-name:latest

Docker Compose配置

yaml
version: '3'
services:
  log-forwarder:
    image: your-image-name:latest
    container_name: docker-log-forwarder
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock
      - /var/lib/docker/containers:/var/lib/docker/containers:ro
      - ./custom-config:/etc/logstash/conf.d:ro  # 挂载自定义配置
    environment:
      - LOGSTASH_OUTPUT_DESTINATION=kafka
      - KAFKA_BOOTSTRAP_SERVERS=kafka1:9092,kafka2:9092
      - KAFKA_TOPIC=docker-logs
      - LOG_LEVEL=info
    restart: unless-stopped

主要配置参数

环境变量

自定义配置

如需高级配置，可通过挂载配置文件到容器内/etc/logstash/conf.d目录，覆盖默认配置。配置文件需遵循Logstash配置格式，包含input、filter和output部分。

示例自定义配置文件（custom.conf）：

ruby
input {
  docker {
    path => "/var/lib/docker/containers/*/*.log"
    codec => "json"
    tags => ["docker"]
  }
}

filter {
  if [container][name] =~ /^app-/ {
    mutate { add_field => { "service_type" => "application" } }
  }
}

output {
  elasticsearch {
    hosts => ["http://es.example.com:9200"]
    index => "docker-logs-%{+YYYY.MM.dd}"
  }
  stdout { codec => rubydebug }
}

注意事项

• 确保容器具有访问Docker守护进程（/var/run/docker.sock）和容器日志文件（/var/lib/docker/containers）的权限
• 根据日志量调整容器资源限制（CPU/内存）
• 生产环境建议使用自定义配置文件优化日志处理规则
• 定期清理日志存储目标，避免磁盘空间耗尽