alangibson/logstash

Logstash 镜像（含de_dot插件）

镜像概述

本镜像为Docker官方Logstash镜像的分支版本，在官方镜像基础上集成了de_dot插件。Logstash作为开源数据收集与处理工具，主要用于日志数据的采集、过滤、转换并发送至目标存储（如Elasticsearch），广泛应用于ELK（Elasticsearch, Logstash, Kibana）技术栈。

核心功能与特性

• 基于官方镜像：完全继承官方Logstash的核心能力，包括多源日志采集、灵活的过滤转换、多目标输出等
• 集成de_dot插件：预装de_dot过滤器插件，可自动处理字段名中的点（.）字符，避免在Elasticsearch等存储中产生嵌套字段问题
• 配置灵活性：支持通过配置文件、环境变量及命令行参数自定义Logstash管道
• 版本兼容性：提供多个Logstash版本标签，适配不同ELK栈版本需求

使用场景

• ELK技术栈中的日志数据处理环节，需处理含有点字符字段名的日志
• 日志数据结构化转换场景，如将非结构化日志转换为结构化数据
• 容器化部署Logstash，简化环境依赖管理与版本控制

使用方法

基本运行（docker run）

bash
docker run -d \
  --name logstash \
  -v /本地路径/pipeline:/usr/share/logstash/pipeline \
  -v /本地路径/config:/usr/share/logstash/config \
  logstash:标签版本

参数说明：

• -v /本地路径/pipeline:/usr/share/logstash/pipeline：挂载自定义管道配置目录
• -v /本地路径/config:/usr/share/logstash/config：挂载配置文件目录（如logstash.yml）
• logstash:标签版本：指定镜像版本标签（如7.17.0，具体版本参考Docker Hub）

Docker Compose部署

创建docker-compose.yml文件：

yaml
version: '3'
services:
  logstash:
    image: logstash:标签版本
    container_name: logstash
    volumes:
      - ./pipeline:/usr/share/logstash/pipeline
      - ./config:/usr/share/logstash/config
    ports:
      - "5044:5044"  # Filebeat输入端口
      - "9600:9600"  # 监控API端口
    environment:
      - "ES_HOST=elasticsearch:9200"  # Elasticsearch服务地址
      - "LS_JAVA_OPTS=-Xms1g -Xmx1g"  # JVM内存配置
    restart: unless-stopped

启动服务：

bash
docker-compose up -d

de_dot插件配置示例

在管道配置文件（如pipeline/logstash.conf）中使用de_dot插件：

conf
input {
  beats {
    port => 5044
  }
}

filter {
  de_dot {
    fields => ["user.name", "system.version", "log.data"]  # 指定需处理的字段
    replacement => "_"  # 将点替换为下划线（默认值）
  }
}

output {
  elasticsearch {
    hosts => ["${ES_HOST}"]
    index => "app-logs-%{+YYYY.MM.dd}"
  }
  stdout { codec => rubydebug }  # 控制台输出调试
}

配置参数

环境变量

核心配置文件

• /usr/share/logstash/config/logstash.yml：Logstash主配置文件
• /usr/share/logstash/pipeline/：管道配置目录，默认加载所有.conf文件

相关资源

• https://registry.hub.docker.com/_/logstash/
• Logstash官方文档
• de_dot插件官方文档