amioranza/logstash

docker-logstash 镜像文档

镜像概述

docker-logstash是一个简化的Logstash镜像，核心特点是支持使用自定义配置文件，帮助用户根据实际需求灵活配置日志的收集、处理和转发规则，适用于各类日志管理场景。

核心功能与特性

• 自定义配置支持：允许用户挂载自定义Logstash配置文件（.conf），满足个性化日志处理需求
• 轻量级设计：基于官方Logstash镜像优化，精简不必要依赖，降低资源占用
• 易于集成：可无缝对接ELK（Elasticsearch, Logstash, Kibana）栈及其他日志存储/分析系统

使用场景与适用范围

• 日志集中管理：需统一收集、处理来自多应用/服务的分散日志
• 自定义日志处理：需根据业务规则定制日志过滤、字段提取、格式转换等处理逻辑
• 开发测试环境：快速部署带有特定配置的Logstash实例，验证日志处理流程

使用方法与配置说明

基本部署（docker run）

通过挂载本地自定义配置文件到容器内Logstash的默认配置目录，启动容器：

bash
docker run -d \
  --name logstash-custom \
  -v /本地路径/自定义配置.conf:/usr/share/logstash/pipeline/logstash.conf \
  docker-logstash

配置文件规范

自定义配置文件需遵循Logstash标准配置语法，包含以下核心部分：

1. Input（日志来源）

定义日志输入源，如文件、TCP/UDP端口、Kafka等。
示例：

input {
  # 从文件读取日志
  file {
    path => "/var/log/application/*.log"  # 日志文件路径
    start_position => "beginning"        # 从文件开头读取
    sincedb_path => "/dev/null"          # 禁用sincedb（每次启动重新读取）
  }
  
  # 从TCP端口接收日志
  tcp {
    port => 5000
    codec => "json"                      # 日志格式为JSON
  }
}

2. Filter（日志处理）

定义日志过滤与转换规则，如grok解析、日期处理、字段添加等。
示例：

filter {
  # 使用grok解析Apache日志
  grok {
    match => { "message" => "%{COMBINEDAPACHELOG}" }  # 匹配Apache组合日志格式
  }
  
  # 解析日期字段
  date {
    match => [ "timestamp", "dd/MMM/yyyy:HH:mm:ss Z" ]  # 日期格式匹配
    target => "@timestamp"                               # 输出到@timestamp字段
  }
  
  # 添加自定义字段
  mutate {
    add_field => { "service" => "web-server" }  # 添加服务标识字段
  }
}

3. Output（日志输出）

定义日志输出目标，如Elasticsearch、文件、stdout等。
示例：

output {
  # 输出到Elasticsearch
  elasticsearch {
    hosts => ["elasticsearch:9200"]  # Elasticsearch地址
    index => "web-logs-%{+YYYY.MM.dd}"  # 按日期创建索引
  }
  
  # 同时输出到控制台（调试用）
  stdout { codec => rubydebug }  # 格式化输出
}

高级配置（环境变量）

可通过环境变量调整Logstash运行参数：

示例（调整JVM内存）：

bash
docker run -d \
  --name logstash-custom \
  -e LS_JAVA_OPTS="-Xms512m -Xmx1g" \
  -v /本地路径/自定义配置.conf:/usr/share/logstash/pipeline/logstash.conf \
  docker-logstash