stakater/logstash-with-consul-template

Logstash with Consul Template

镜像概述

这是一个集成Consul Template的Logstash Docker容器，旨在通过Consul动态生成和更新Logstash配置。Consul Template会查询Consul实例，更新指定的模板文件，并可在更新完成后执行任意命令，实现Logstash配置的动态管理。

支持的标签

• 5.2-0.18.0、latest：Logstash v5.2 与 Consul Template v0.18.0（https://github.com/stakater/dockerfile-logstash-with-consul-template/blob/master/5.2/Dockerfile%EF%BC%89
• 2.3-0.18.0：Logstash v2.3 与 Consul Template v0.18.0（https://github.com/stakater/dockerfile-logstash-with-consul-template/blob/master/2.3/Dockerfile%EF%BC%89

核心功能与特性

• 集成Logstash与Consul Template，支持配置动态生成与更新
• 通过Consul KV存储管理配置参数，无需手动修改配置文件
• 支持自定义模板文件，自动生成Logstash配置（如logstash.conf）
• 配置更新后可自动触发Logstash配置重载

使用场景

适用于需要动态调整日志收集规则的环境，例如：

• 多应用日志集中处理，需为不同应用配置特定grok模式
• 日志格式或接收端口需根据环境动态调整的场景
• 需要通过Consul集中管理配置的微服务架构

使用方法

基本运行

bash
docker run stakater/logstash-with-consul-template:latest

指定模板文件

挂载本地模板目录到容器内的/templates目录：

bash
docker run -d -v $(PWD)/templates:/templates stakater/logstash-with-consul-template:latest

Consul Template配置

容器通过Consul Template查询Consul实例并更新模板，基本命令格式：

bash
consul-template -consul-addr=$CONSUL_URL -template="/templates/logstash.ctmpl:/etc/logstash/conf.d/logstash.conf"

• $CONSUL_URL：Consul实例地址（需通过环境变量指定）
• -template：模板文件路径与生成的Logstash配置文件路径映射

示例模板

镜像在templates目录中提供了示例模板。使用该模板需满足以下前提条件：

前提条件

Consul键值存储条目

需在Consul中配置以下KV键：

• /logstash/beatsPort：接收"beats"日志的端口
• /logstash/syslogPattern：syslog类型日志的grok模式
• /logstash/defaultPattern：无特定grok模式的应用日志默认grok模式
• /logstash/apps/<app_name>/grokPattern：特定应用（<app_name>）的grok模式（如有）
• /logstash/apps/<app_name>/multilinePattern：特定应用（<app_name>）的多行日志模式（如有）

Grok模式要求

• 日志中的时间需解析并赋值给timestamp字段
• 若为特定应用配置了grok/多行模式，日志中需包含应用名称，并解析赋值给app_name字段