kierranm/deadmanswatch

DeadMansWatch

概述

DeadMansWatch是一个轻量工具，主要用于将Prometheus DeadMansWatch警报从AlertManager转发至CloudWatch作为指标，同时会定期发送自身的"心跳"指标到CloudWatch。这些指标可用于创建CloudWatch告警，以便在Prometheus宕机或DeadMansWatch自身故障时及时通知。

核心功能

• 警报转发：接收AlertManager发送的webhook请求，将Prometheus DeadMansWatch警报转换为CloudWatch指标
• 自我监控：定期发送自身的"心跳"指标到CloudWatch，实现对DeadMansWatch自身运行状态的监控
• 灵活配置：支持自定义CloudWatch指标的命名空间、名称、维度等参数，适配不同监控场景

使用场景

• 监控Prometheus运行状态：通过转发Prometheus DeadMansWatch警报至CloudWatch，结合CloudWatch告警，在Prometheus宕机时触发通知
• 监控监控工具本身：通过DeadMansWatch的自我心跳指标，确保监控工具自身故障时也能被发现，避免监控盲点

使用方法

基本用法

通过watch命令启动DeadMansWatch服务，监听AlertManager的webhook请求：

bash
deadmanswatch watch [flags]

启动后，服务将监听指定地址和端口，接收符合AlertManager webhook payload格式的请求。

命令行参数

部署方式

Kubernetes部署

项目deploy/kubes目录下提供了Kubernetes部署清单文件，可直接用于在Kubernetes集群中部署DeadMansWatch。

Helm部署

项目deploy/helm目录下提供了Helm Chart，可通过Helm快速部署，无需手动修改部署清单。

CloudWatch告警配置示例

以下是使用Terraform创建CloudWatch告警的示例，当DeadMansSwitch指标缺失时触发告警，指示Prometheus或DeadMansWatch可能宕机：

hcl
resource "aws_cloudwatch_metric_alarm" "deadmanswatch" {
  alarm_name          = "deadmansswitch-missing"
  comparison_operator = "LessThanThreshold"
  metric_name         = "DeadMansSwitch"
  namespace           = "DeadMansWatch"
  evaluation_periods  = 3
  treat_missing_data  = "breaching"
  threshold           = 1
  dimensions = {
      source = "prometheus"
  }
  alarm_description   = "当Prometheus或DeadMansWatch宕机时触发此告警"
  alarm_actions       = [] # 替换为SNS ARN等通知目标
  ok_actions          = [] # 替换为SNS ARN等通知目标
}

AWS凭证配置

DeadMansWatch使用AWS SDK for Go与CloudWatch交互，支持以下AWS凭证获取方式：

• IAM实例配置文件（适用于EC2或EKS环境）
• 环境变量（如AWS_ACCESS_KEY_ID和AWS_SECRET_ACCESS_KEY）
• 共享凭证文件（默认路径~/.aws/credentials）