fantini/logstash

Logstash Docker镜像文档

概述

Logstash是Elastic Stack（Elasticsearch, Logstash, Kibana）的核心组件之一，作为开源的服务器端数据处理管道，它能够从多种数据源（如日志文件、数据库、消息队列等）采集数据，对数据进行过滤、转换、丰富等处理，并将处理后的数据转发至Elasticsearch、文件、数据库或其他目标系统，为后续的数据分析和可视化提供支持。

核心功能与特性

• 多源数据采集：支持从文件、网络、消息队列（如Kafka、RabbitMQ）、数据库等多种来源采集数据，提供丰富的输入插件。
• 灵活数据处理：通过过滤插件实现数据清洗、解析（如JSON、CSV、XML解析）、字段提取、格式转换、数据脱敏等操作。
• 多目标数据输出：支持将处理后的数据发送至Elasticsearch、文件、数据库、云存储等多种目标，输出插件可扩展。
• 可扩展性：基于插件架构，支持自定义插件开发，满足特定业务场景的数据处理需求。
• 高可靠性：支持数据持久化和断点续传，确保数据处理的完整性。

使用场景与适用范围

• 日志集中管理：收集分散在多台服务器的应用日志、系统日志，统一处理后存储至Elasticsearch，便于日志检索与分析。
• 数据预处理：在数据进入数据仓库或分析系统前，对原始数据进行清洗、格式转换和字段规范化。
• 实时数据管道：构建实时数据处理流，支持实时监控、告警触发等场景。
• 跨系统数据同步：实现不同系统间的数据格式转换与同步，如将数据库数据同步至Elasticsearch。

使用方法与配置说明

基本使用（docker run）

bash
docker run -d \
  --name logstash \
  -v /path/to/logstash/pipeline:/usr/share/logstash/pipeline \
  -v /path/to/logstash/config:/usr/share/logstash/config \
  -e "LS_JAVA_OPTS=-Xms512m -Xmx512m" \
  docker.elastic.co/logstash/logstash:8.11.3

Docker Compose配置示例

yaml
version: '3'
services:
  logstash:
    image: docker.elastic.co/logstash/logstash:8.11.3
    container_name: logstash
    volumes:
      - ./logstash/pipeline:/usr/share/logstash/pipeline  # 挂载pipeline配置文件
      - ./logstash/config:/usr/share/logstash/config      # 挂载logstash.yml配置
    environment:
      - LS_JAVA_OPTS=-Xms512m -Xmx512m  # 设置JVM内存参数
      - ELASTICSEARCH_HOSTS=http://elasticsearch:9200  # Elasticsearch地址（若需输出至ES）
    ports:
      - "5044:5044"  # Filebeat输入端口
      - "9600:9600"  # 监控API端口
    depends_on:
      - elasticsearch  # 若依赖Elasticsearch，需配置对应服务

核心配置说明

1. Pipeline配置
   Logstash通过pipeline配置文件定义数据处理流程，通常位于/usr/share/logstash/pipeline/logstash.conf，格式示例：

   conf
   input {
     beats {
       port => 5044  # 接收Filebeat数据
     }
   }
   
   filter {
     grok {
       match => { "message" => "%{COMBINEDAPACHELOG}" }  # 解析Apache日志
     }
     date {
       match => [ "timestamp", "dd/MMM/yyyy:HH:mm:ss Z" ]  # 解析时间字段
     }
   }
   
   output {
     elasticsearch {
       hosts => ["http://elasticsearch:9200"]  # 输出至Elasticsearch
       index => "apache-logs-%{+YYYY.MM.dd}"  # 按日期创建索引
     }
     stdout { codec => rubydebug }  # 同时输出至控制台（调试用）
   }
   

2. 环境变量

   • LS_JAVA_OPTS：设置JVM参数，如-Xms512m -Xmx512m控制内存大小。
   • ELASTICSEARCH_HOSTS：指定Elasticsearch地址（若输出至ES）。
   • LOG_LEVEL：日志级别，可选debug、info、warn、error，默认info。

3. 数据持久化
   可挂载以下目录实现配置和数据持久化：

   • /usr/share/logstash/pipeline：存放pipeline配置文件。
   • /usr/share/logstash/config：存放logstash.yml等全局配置。
   • /usr/share/logstash/data：存放持久化数据（如队列数据）。

验证与监控

启动后可通过http://<容器IP>:9600/_node/stats访问Logstash监控API，查看数据处理状态、插件运行情况等。