peytonyip/logstash

Logstash 增强镜像文档

镜像概述

本镜像基于最新版Logstash构建，集成了https://github.com/liangwenrong/ip2region-my%E6%8F%92%E4%BB%B6%E5%92%8CLoki%E8%BE%93%E5%87%BA%E6%8F%92%E4%BB%B6%EF%BC%8C%E6%8F%90%E4%BE%9BIP%E5%9C%B0%E5%9D%80%E5%9C%B0%E7%90%86%E4%BD%8D%E7%BD%AE%E8%A7%A3%E6%9E%90%E8%83%BD%E5%8A%9B%E5%8F%8ALoki%E6%97%A5%E5%BF%97%E8%BE%93%E5%87%BA%E5%8A%9F%E8%83%BD%E3%80%82Dockerfile%E6%BA%90%E7%A0%81%E5%8F%AF%E6%9F%A5%E7%9C%8B%EF%BC%9Ahttps://github.com/peytonyip/Dockerfile/blob/main/logstash/Dockerfile%E3%80%82

核心功能与特性

• IP地址解析：通过logstash-filter-ip2region插件，可将IP地址解析为具体地理位置信息（如国家、地区、城市等）
• Loki输出支持：集成Loki输出插件，支持将处理后的日志发送至Loki日志聚合系统
• 基于官方最新版：基于官方最新Logstash镜像构建，保持核心功能的稳定性和最新特性

使用场景

• 需要对日志中的IP地址进行地理位置解析的场景（如用户访问日志分析）
• 需要将Logstash处理后的日志输出到Loki进行集中管理和分析的场景
• 日志数据清洗、转换与转发的中间处理环节

使用方法与配置说明

基本使用

通过docker run命令启动容器：

bash
docker run -d \
  --name logstash-enhanced \
  -v /path/to/your/logstash/config:/usr/share/logstash/pipeline \
  -v /path/to/ip2region.db:/path/to/ip2region.db \
  peytonyip/logstash:latest

配置示例

IP地址解析配置（filter部分）

ruby
filter {
  ip2region {
    source => "client_ip"  # 指定包含IP地址的字段名
    database => "/path/to/ip2region.db"  # 指定ip2region数据库文件路径
    remove_field => [ "region" ]  # 可选，移除不需要的字段
  }
}

Loki输出配置（output部分）

ruby
output {
  loki {
    url => "http://loki:3100/loki/api/v1/push"  # Loki服务地址
    batch_size => 1024  # 批处理大小
    batch_timeout => 5  # 批处理超时时间(秒)
    labels => { "job" => "logstash" }  # 日志标签
  }
}

关键参数说明

• ip2region插件参数：

  • source：必填，指定日志中包含IP地址的字段名
  • database：必填，ip2region数据库文件的绝对路径（需通过容器挂载）
  • remove_field：可选，处理后需要移除的字段列表

• Loki输出插件参数：

  • url：必填，Loki服务的推送API地址
  • batch_size：可选，批处理日志条目数量，默认1024
  • batch_timeout：可选，批处理超时时间，默认5秒
  • labels：可选，添加到日志的标签键值对

数据卷挂载

• 日志处理管道配置：挂载本地配置目录到容器内/usr/share/logstash/pipeline
• ip2region数据库文件：挂载本地ip2region.db文件到容器内指定路径（需与filter配置中的database参数一致）