dystargate/logstash

镜像概述

Logstash是开源的服务器端数据处理管道，设计用于从多个来源采集数据，对数据进行转换处理，并将处理后的数据发送到指定的存储系统或分析工具中。作为Elastic Stack（ELK Stack）的重要组成部分，Logstash在日志收集、数据清洗和集成场景中广泛应用。

核心功能和特性

• 多源数据采集：支持从文件、数据库、消息队列（如Kafka）、HTTP请求等多种来源采集数据
• 灵活的数据转换：提供丰富的过滤器插件（如grok、mutate、date等），可对数据进行解析、过滤、格式化等操作
• 多目标输出：支持将处理后的数据发送到Elasticsearch、数据库、文件、消息队列等多种目标存储
• 可扩展性：通过插件系统支持自定义输入、过滤和输出逻辑，满足复杂数据处理需求
• 高可靠性：支持数据缓冲和重试机制，确保数据传输的稳定性

使用场景和适用范围

• 日志集中管理：收集、解析和存储来自不同应用、服务器的日志数据，便于查询和分析
• 数据集成：在不同系统间进行数据抽取、转换和加载（ETL），实现数据统一管理
• 实时数据处理：对实时产生的数据进行即时处理和分析，支持监控和告警场景
• 数据清洗与标准化：对非结构化或半结构化数据进行格式化处理，提高数据质量

使用方法和配置说明

基本运行方式

通过docker run命令启动Logstash容器，需挂载配置文件指定数据处理流程：

bash
docker run -d \
  --name logstash \
  -v /path/to/logstash/pipeline:/usr/share/logstash/pipeline \
  docker.elastic.co/logstash/logstash:8.11.3

Docker Compose配置示例

以下是与Elasticsearch、Kibana配合使用的docker-compose.yml示例：

yaml
version: '3'
services:
  logstash:
    image: docker.elastic.co/logstash/logstash:8.11.3
    volumes:
      - ./logstash/pipeline:/usr/share/logstash/pipeline
      - ./logstash/config:/usr/share/logstash/config
    environment:
      - "ELASTICSEARCH_HOSTS=http://elasticsearch:9200"
    depends_on:
      - elasticsearch
    ports:
      - "5044:5044"  # Filebeat输入端口

  elasticsearch:
    image: docker.elastic.co/elasticsearch/elasticsearch:8.11.3
    environment:
      - discovery.type=single-node
    ports:
      - "9200:9200"

  kibana:
    image: docker.elastic.co/kibana/kibana:8.11.3
    ports:
      - "5601:5601"
    depends_on:
      - elasticsearch

核心配置说明

Logstash的核心配置通过管道配置文件（位于/usr/share/logstash/pipeline目录）定义，包含input（输入）、filter（过滤）、output（输出）三部分：

示例管道配置（logstash.conf）：

conf
input {
  file {
    path => "/var/log/*.log"  # 从文件采集日志
    start_position => "beginning"
  }
}

filter {
  grok {
    match => { "message" => "%{COMBINEDAPACHELOG}" }  # 使用grok解析Apache日志
  }
  date {
    match => [ "timestamp", "dd/MMM/yyyy:HH:mm:ss Z" ]  # 解析日期字段
  }
}

output {
  elasticsearch {
    hosts => ["elasticsearch:9200"]  # 输出到Elasticsearch
    index => "apache-logs-%{+YYYY.MM.dd}"  # 按日期创建索引
  }
  stdout { codec => rubydebug }  # 同时输出到控制台
}

环境变量配置

常用环境变量包括：

• ELASTICSEARCH_HOSTS：Elasticsearch服务地址，用于输出配置
• LOG_LEVEL：日志级别（如info、debug），默认info
• XPACK_MONITORING_ENABLED：是否启用监控，默认true