adboos/logstash

Logstash JSON日志收集与存储镜像

镜像概述

本镜像基于Logstash构建，专注于日志数据的接收、解析与存储。通过监听UDP 5000端口接收外部日志数据，自动解析JSON格式日志内容，并将处理后的结构化数据持久化存储到Elasticsearch，为日志集中管理、检索与分析提供基础数据管道。

核心功能与特性

• UDP数据接收：默认监听UDP 5000端口，支持高并发日志数据接入
• JSON自动解析：内置JSON解析规则，可直接处理JSON格式日志，提取结构化字段
• Elasticsearch集成：无缝对接Elasticsearch，实现日志数据的高效存储与索引
• 轻量级配置：预设基础配置，开箱即用，同时支持自定义配置扩展
• 数据过滤：可通过配置实现日志字段过滤、转换与 enrichment

使用场景与适用范围

• 应用系统日志集中收集（如Java、Python等应用输出的JSON日志）
• 分布式系统日志聚合与存储
• 实时监控数据处理与持久化
• ELK（Elasticsearch, Logstash, Kibana）日志分析栈的基础组件

使用方法

基本使用（Docker Run）

bash
docker run -d \
  -p 5000:5000/udp \
  -e ES_HOST=elasticsearch-host \
  -e ES_PORT=9200 \
  --name logstash-json \
  [镜像名称]

Docker Compose配置示例

yaml
version: '3'
services:
  logstash:
    image: [镜像名称]
    ports:
      - "5000:5000/udp"
    environment:
      - ES_HOST=elasticsearch
      - ES_PORT=9200
      - ES_INDEX=application-logs
    depends_on:
      - elasticsearch
  elasticsearch:
    image: docker.elastic.co/elasticsearch/elasticsearch:8.10.4
    environment:
      - discovery.type=single-node
    ports:
      - "9200:9200"

配置说明

环境变量

自定义配置

如需修改Logstash配置（如调整解析规则、添加过滤器等），可通过挂载配置文件实现：

bash
docker run -d \
  -p 5000:5000/udp \
  -e ES_HOST=elasticsearch-host \
  -v /path/to/custom/logstash.conf:/usr/share/logstash/pipeline/logstash.conf \
  --name logstash-json \
  [镜像名称]

示例logstash.conf配置：

ruby
input {
  udp {
    port => ${UDP_PORT:5000}
    codec => ${JSON_TYPE:json}
  }
}

filter {
  # 可在此添加自定义过滤规则，如字段重命名、删除等
  mutate {
    remove_field => ["@version"]
  }
}

output {
  elasticsearch {
    hosts => ["${ES_HOST:localhost}:${ES_PORT:9200}"]
    index => "${ES_INDEX:logs}-%{+YYYY.MM.dd}"
  }
}

注意事项

• 确保Elasticsearch服务可访问，且版本兼容性（建议使用Elasticsearch 7.x或8.x）
• 高流量场景下建议调整UDP缓冲区大小与Logstash JVM内存配置
• 生产环境中建议添加数据持久化与监控机制