datasense/logstash_indexer

镜像概述

本Docker镜像集成了Logstash、crond和Elasticsearch Curator工具，提供一站式日志处理与Elasticsearch索引管理解决方案。通过组合Logstash的日志收集与处理能力、crond的定时任务调度功能以及Curator的Elasticsearch索引管理功能，实现日志从收集、处理到存储索引生命周期管理的全流程自动化。

核心功能与特性

Logstash日志处理

• 支持多源日志收集（文件、网络、消息队列等）与结构化处理
• 提供丰富的过滤器插件（grok、json、date等）用于日志解析与转换
• 支持多种输出目标（Elasticsearch、文件、数据库等）

crond定时任务调度

• 基于cron表达式的定时任务管理
• 支持自定义定时任务配置，灵活调度Curator索引管理命令或其他脚本
• 兼容标准crontab任务格式，易于配置与维护

Elasticsearch Curator索引管理

• 支持Elasticsearch索引生命周期管理（创建、删除、关闭、优化、快照等）
• 基于时间或条件的索引过滤与操作
• 可配置的索引保留策略，优化Elasticsearch存储占用

使用场景

• 日志集中处理与存储：实现多源日志的统一收集、结构化处理并输出至Elasticsearch
• Elasticsearch索引生命周期管理：定时执行索引清理、归档、优化等操作，维护索引健康状态
• 定时日志任务：周期性执行日志格式转换、数据脱敏、统计分析等定制任务
• 日志与索引自动化运维：减少手动干预，提高日志系统稳定性与可维护性

使用方法与配置说明

基本部署命令

bash
docker run -d \
  --name logstash-curator \
  -v /path/to/logstash/pipeline:/etc/logstash/pipeline \
  -v /path/to/curator/config:/etc/curator \
  -v /path/to/crontabs:/etc/cron.d \
  -v /path/to/logs:/var/log \
  -e TZ=Asia/Shanghai \
  -p 5044:5044 \  # Logstash beats输入端口(如需)
  -p 9600:9600 \  # Logstash监控端口
  your-image-name:latest

配置文件说明

1. Logstash配置

• 配置路径：/etc/logstash/pipeline/（挂载外部目录至该路径）
• 配置格式：标准Logstash pipeline配置文件（.conf），包含input、filter、output三部分
• 示例（/path/to/logstash/pipeline/logstash.conf）：

  ruby
  input {
    beats { port => 5044 }  # 接收Filebeat日志
  }
  filter {
    grok { match => { "message" => "%{COMBINEDAPACHELOG}" } }  # Apache日志解析
  }
  output {
    elasticsearch { hosts => ["elasticsearch:9200"] }  # 输出至Elasticsearch
    stdout { codec => rubydebug }  # 控制台输出调试
  }
  

2. Curator配置

• 配置路径：/etc/curator/（挂载外部目录至该路径）
• 配置文件：
  • config.yml：Curator全局配置（Elasticsearch连接信息等）
  • actions.yml：Curator动作配置（定义索引操作逻辑）
• 示例（config.yml）：

  yaml
  client:
    hosts: ["elasticsearch:9200"]
    timeout: 30
  logging:
    loglevel: INFO
  

• 示例（actions.yml）：

  yaml
  actions:
    1:
      action: delete_indices
      description: "删除7天前的日志索引"
      options:
        ignore_empty_list: True
      filters:
        - filtertype: pattern
          kind: prefix
          value: log-
        - filtertype: age
          source: creation_date
          direction: older
          unit: days
          unit_count: 7
  

3. crontab定时任务

• 配置路径：/etc/cron.d/（挂载外部目录至该路径）
• 文件格式：标准crontab任务文件，每行定义一个定时任务
• 示例（/path/to/crontabs/curator-tasks）：

  bash
  # 每天凌晨2点执行Curator索引清理任务
  0 2 * * * root curator /etc/curator/actions.yml --config /etc/curator/config.yml >> /var/log/curator.log 2>&1
  

  注意：任务文件需设置正确权限（建议644），且每行必须以换行符结束

环境变量

数据持久化

建议挂载以下目录以实现配置与数据持久化：

• /etc/logstash/pipeline：Logstash pipeline配置
• /etc/curator：Curator配置与动作文件
• /etc/cron.d：crontab定时任务文件
• /var/log：日志存储目录（包含Logstash、Curator及系统日志）

启动与验证

1. 启动容器后，检查服务状态：

   bash
   docker exec -it logstash-curator supervisorctl status
   

   （假设使用supervisor管理多服务，应显示logstash、cron服务均为RUNNING状态）

2. 验证Logstash运行状态：

   bash
   curl http://container-ip:9600/_node/stats
   

3. 验证定时任务执行：

   bash
   docker exec -it logstash-curator tail -f /var/log/curator.log
   

注意事项

• Curator需与目标Elasticsearch版本兼容，建议在配置文件中明确指定Elasticsearch版本
• Logstash pipeline配置变更后需重启Logstash服务或通过API热加载
• crontab任务文件修改后无需重启容器，crond服务会自动加载新配置
• 生产环境建议配置资源限制（--memory、--cpus）避免资源过度占用