sdurrheimer/alertmanager

Alertmanager

镜像概述和主要用途

这是Alertmanager的开发版本，是对现有版本的重写，与当前0.0.4版本不兼容。唯一的向后兼容部分是Prometheus用于推送新告警的API端点。该镜像主要用于Prometheus监控系统的告警管理，提供高级告警路由、分组/批处理以及告警状态持久化功能。

核心功能和特性

• 高级告警路由：支持基于标签的复杂路由配置，可根据告警属性灵活分发
• 分组与批处理：通过标签将相关告警分组，减少告警噪音，无需在告警规则中通过聚合避免频繁通知
• 完整持久化：实现告警、静默规则和通知状态的持久化存储，重启后可恢复之前的状态
• 静默管理：支持定义静默规则以暂时抑制特定告警
• 抑制规则：允许根据其他告警的触发状态来抑制某些告警

使用场景和适用范围

适用于需要对Prometheus产生的告警进行复杂管理的场景，包括：

• 大型监控系统中按团队、服务或严重程度路由告警
• 需要减少告警噪音，将相关告警分组通知的场景
• 需要持久化告警状态，确保重启后不丢失关键告警信息的环境

使用方法和配置说明

运行Docker容器

使用以下命令运行Alertmanager容器，需挂载配置文件：

bash
docker run -d -p 9093:9093 -v /path/to/your/config.yml:/etc/alertmanager/config.yml --name alertmanager sdurrheimer/alertmanager -config.file=/etc/alertmanager/config.yml

配置文件结构

Alertmanager使用YAML格式配置文件，主要包含以下部分：

global

全局配置，如SMTP服务器、API URL等通知相关基础设置。

templates

指定通知模板文件的目录路径。

route

定义告警路由规则，核心参数包括：

• group_by：用于分组告警的标签列表
• group_wait：新告警组创建后等待发送初始通知的时间
• group_interval：发送新告警批次的间隔时间
• repeat_interval：重复发送已通知告警的间隔时间
• continue：是否继续匹配后续路由规则
• routes：子路由规则列表

inhibit_rules

抑制规则，定义在特定条件下抑制某些告警的规则。

receivers

告警接收器，定义告警的通知方式（如邮件、PagerDuty等）。

配置示例

yaml
global:
  # 邮件通知使用的SMTP服务器和发件人
  smtp_smarthost: 'localhost:25'
  smtp_from: 'alertmanager@example.org'

# 通知模板目录
templates: 
- 'template/*.tmpl'

# 根路由，所有入站告警从此进入
route:
  # 用于分组告警的标签，例如cluster=A和alertname=LatencyHigh的告警会被分组
  group_by: ['alertname', 'cluster']
  
  # 新告警组创建后，至少等待'group_wait'再发送初始通知
  group_wait: 30s

  # 首次通知发送后，等待'group_interval'再发送新的告警批次
  group_interval: 5m

  # 告警成功发送后，等待'repeat_interval'再重发
  repeat_interval: 3h 

  # 如果为false，第一个匹配的子路由将终止搜索并处理告警
  # 如果为true，告警会匹配所有符合条件的兄弟节点
  continue: true

  # 子路由树
  routes:
  # 对告警标签进行正则匹配，匹配特定服务的告警
  - match_re:
      service: ^(foo1|foo2|baz)$
    receiver: team-X-mails

    # 该服务有针对严重告警的子路由
    routes:
    - match:
        severity: critical
      receiver: team-X-pager

  - match:
      service: files
    receiver: team-Y-mails

    routes:
    - match:
        severity: critical
      receiver: team-Y-pager

  # 处理数据库服务告警
  - match:
      service: database
    receiver: team-DB-pager
    group_by: [alertname, cluster, database]
    continue: false

    routes:
    - match:
        owner: team-X
      receiver: team-X-pager
    - match:
        owner: team-Y
      receiver: team-Y-pager


# 抑制规则：当critical级别告警触发时，抑制同名称的warning级别告警
inhibit_rules:
- source_match:
    severity: 'critical'
  target_match:
    severity: 'warning'
  equal: ['alertname']


receivers:
- name: 'team-X-mails'
  email_configs:
  - to: 'team-X+alerts@example.org'

- name: 'team-X-pager'
  email_configs:
  - to: 'team-X+alerts-critical@example.org'
  pagerduty_configs:
  - service_key: <team-X-key>

- name: 'team-Y-mails'
  email_configs:
  - to: 'team-Y+alerts@example.org'

- name: 'team-Y-pager'
  pagerduty_configs:
  - service_key: <team-Y-key>

- name: 'team-DB-pager'
  pagerduty_configs:
  - service_key: <team-DB-key>

测试配置

可使用以下nginx配置将流量镜像到新Alertmanager实例进行测试：

nginx
server {
  server_name <your_current_alertmanager>;
  location / {
    proxy_pass  http://localhost:9093;
    post_action @forward;
  }
  location @forward {
    proxy_pass http://<your_new_alertmanager>:9093; 
  }
}

已知问题

此开发版本仍需改进的内容（将根据优先级处理）：

• 删除静默规则后，可能需等待一个group_wait周期才能发送之前被静默的告警通知
• 限制抑制规则到路由子树，避免意外干扰
• 定义通知模板提供的最小数据集
• 通知模板最佳实践文档
• 支持常见命令行标志（如path-prefix）
• 将模板和UI资源编译到二进制文件中

架构

!https://raw.githubusercontent.com/prometheus/alertmanager/4e6695682acd2580773a904e4aa2e3b927ee27b7/doc/arch.jpg