geoint/scale-logstash

Logstash Elastic高可用性

镜像概述和主要用途

本镜像用于支持Logstash在Elasticsearch节点间的故障转移，实现可扩展的日志收集。主要目的是缓解Elasticsearch集群节点发生故障或迁移到其他位置时的问题。除非所有节点都迁移到其他地址，否则watchdog进程会通过Elasticsearch API发现新位置，并将Logstash管道更新为所有可用节点。

如果Elasticsearch集群配置在负载均衡器后面（推荐做法），可以禁用watchdog功能。这仍将提供模板注入能力，但不会对Elasticsearch集群状态API进行检查。

核心功能和特性

• Elasticsearch故障转移支持：自动处理Elasticsearch节点故障和迁移，确保日志收集持续可用
• 动态节点发现：watchdog进程通过Elasticsearch API持续发现节点变化，并更新Logstash配置
• 模板注入：支持自定义Logstash配置模板，满足特定过滤和输出需求
• 灵活配置：通过环境变量调整Logstash行为，包括调试、检查间隔等

使用场景和适用范围

• 高可用性日志收集：适用于需要确保Logstash与Elasticsearch连接高可用的场景
• 动态Elasticsearch集群：Elasticsearch节点可能频繁变化或迁移的环境
• 负载均衡器后的集群：当Elasticsearch集群配置在负载均衡器后面时，可禁用watchdog功能仅使用模板注入

使用方法和配置说明

环境变量

本镜像提供多个环境变量用于调整Logstash行为：

• ELASTICSEARCH_URLS：一个或多个逗号分隔的Elasticsearch节点完整URL，用于引导watchdog。例如："[***]"。watchdog会随着节点的添加或移除持续更新Logstash配置。
• ELASTICSEARCH_LB：布尔值，指示是否在负载均衡器后面（true）或否（false）。如果设为false，watchdog功能将激活；否则将跳过。
• LOGSTASH_ARGS：传递给Logstash的任意命令行参数字符串。
• LOGSTASH_DEBUG：区分大小写的布尔值，指示是否将传入消息输出到stdout。需要输出时必须设为true，其他值均不输出消息。
• SLEEP_TIME：watchdog检查Elasticsearch节点的间隔时间（秒）。
• TEMPLATE_URI：Logstash模板配置的容器可访问位置URL。

Logstash配置模板

如果需要覆盖默认配置或指定额外过滤器，以下示例包含应作为配置起点的最小必要配置：

input {
  http {
    port => 80
    type => "app-healthcheck"
  }
}
filter {
  if [type] == "app-healthcheck" {
    drop { }
  }
}
output {
  elasticsearch {
    hosts => _ES_HOSTS_
  }
}

http输入处理程序和filter用于支持Marathon健康检查并丢弃该输入的所有消息。如果不需要健康检查，仅需保留output指令。_ES_HOSTS_值是支持watchdog将节点注入Logstash管道的必要占位符。