dhileepbalaji/alertmanager Docker 镜像 - 轩辕镜像 | Docker 镜像高效稳定拉取服务

swarmprom

swarmprom 是 Docker Swarm 监控的启动工具包，集成了 Prometheus、Grafana、cAdvisor、Node Exporter、Alert Manager 和 Unsee，用于实现 Swarm 集群的全面监控。

安装

克隆仓库并部署监控栈：

bash
$ git clone https://github.com/dhileepbalaji/swarmprom.git
$ cd swarmprom

ADMIN_USER=admin \
ADMIN_PASSWORD=admin \
SLACK_URL=https://hooks.slack.com/services/TOKEN \
SLACK_CHANNEL=devops-alerts \
SLACK_USER=alertmanager \
docker stack deploy -c docker-compose.yml mon

前提条件

• 最低 Docker CE 17.09.0-ce 或 Docker EE 17.06.2-ee-3
• 包含一个管理器节点和至少一个工作节点的 Swarm 集群
• 启用 Docker 引擎实验性功能，并将 metrics 地址设置为 0.0.0.0:9323

服务列表

• prometheus（指标数据库）http://<swarm-ip>:9090
• grafana（指标可视化）http://<swarm-ip>:3000
• node-exporter（主机指标收集器）
• cadvisor（容器指标收集器）
• dockerd-exporter（Docker 守护进程指标收集器，需启用 Docker 实验性 metrics-addr）
• alertmanager（告警分发器）http://<swarm-ip>:9093
• unsee（Alertmanager 仪表盘）http://<swarm-ip>:9094

带 Traefik 和 HTTPS 的安装

前置要求

假设已按照以下指南设置 Traefik：

• 支持自动 HTTPS 证书生成
• 存在 Docker Swarm 网络 traefik
• 仅服务带有标签 traefik-prod 的容器

步骤

• 克隆仓库并进入目录：

bash
$ git clone https://github.com/dhileepbalaji/swarmprom.git
$ cd swarmprom

• 设置并导出 ADMIN_USER 环境变量：

bash
export ADMIN_USER=admin

• 设置并导出 ADMIN_PASSWORD 环境变量：

bash
export ADMIN_PASSWORD=changethis

• 使用 openssl 生成 ADMIN_PASSWORD 的哈希版本（用于 Traefik 的 HTTP 基本认证）：

bash
export HASHED_PASSWORD=$(openssl passwd -apr1 $ADMIN_PASSWORD)

• 验证哈希值：

bash
echo $HASHED_PASSWORD

输出示例：

$apr1$89eqM5Ro$CxaFELthUKV21DpI3UTQO.

• 创建并导出 DOMAIN 环境变量（例如）：

bash
export DOMAIN=example.com

确保以下子域名指向 Swarm 集群 IP：

• grafana.example.com
• alertmanager.example.com
• unsee.example.com
• prometheus.example.com

注意：也可使用子域名（如 swarmprom.example.com），确保子域名指向集群 IP 或配置通配符子域名（*）。

• 设置并导出 Traefik 公共标签环境变量（默认 traefik-prod）：

bash
export TRAEFIK_PUBLIC_TAG=traefik-prod

• 如需集成 Slack，设置以下环境变量：

bash
export SLACK_URL=https://hooks.slack.com/services/TOKEN
export SLACK_CHANNEL=devops-alerts
export SLACK_USER=alertmanager

注意：使用 export 声明环境变量后，后续命令可直接使用。

• 部署 Traefik 版本的栈：

bash
docker stack deploy -c docker-compose.traefik.yml monitoring

测试访问：

• https://grafana.example.com
• https://alertmanager.example.com
• https://unsee.example.com
• https://prometheus.example.com

Grafana 配置

访问 http://<swarm-ip>:3000，使用用户名 admin 和密码 admin 登录。可通过 compose 文件或部署时的 ADMIN_USER、ADMIN_PASSWORD 环境变量修改凭据。

swarmprom Grafana 预配置了两个仪表盘和 Prometheus 数据源：

• 名称：Prometheus
• 类型：Prometheus
• URL：[***]
• 访问方式：proxy

登录后，点击左上角的主页下拉菜单即可查看仪表盘。

Docker Swarm Nodes Dashboard

URL：http://<swarm-ip>:3000/dashboard/db/docker-swarm-nodes

显示节点资源使用关键指标，支持按节点 ID 筛选：

• 集群运行时间、节点数、CPU 数量、CPU 空闲率
• 系统负载平均值、节点 CPU 使用率图表
• 总内存、可用内存、总磁盘空间、可用存储空间
• 节点内存使用率（已用和缓存）图表
• I/O 使用率（读写 Bps）图表
• IOPS 使用率（每秒读写操作）和 CPU IOWait
• 按 Swarm 服务和节点的运行容器图表
• 网络使用率（入站 Bps、出站 Bps）图表
• 节点列表（实例、节点 ID、节点名称）

Docker Swarm Services Dashboard

URL：http://<swarm-ip>:3000/dashboard/db/docker-swarm-services

显示栈和服务资源使用关键指标，支持按节点 ID 筛选：

• 节点数、栈数、服务数和运行中容器数
• 按服务名称的 Swarm 任务图表
• 健康检查图表（总检查数和失败检查数）
• 按服务和容器（前 10）的 CPU 使用率图表
• 按服务和容器（前 10）的内存使用率图表
• 按服务的网络使用率（接收和发送）图表
• 集群网络流量和 IOPS 图表
• 按节点的 Docker 引擎容器和网络操作
• Docker 引擎列表（版本、节点 ID、操作系统、内核、图形驱动）

Prometheus Stats Dashboard

URL：http://<swarm-ip>:3000/dashboard/db/prometheus

• 运行时间、本地存储内存块和序列
• CPU 使用率图表
• 内存使用率图表
• 待持久化块和持久化紧急程度图表
• 块操作和检查点持续时间图表
• 目标抓取、规则评估持续时间、样本摄入率和抓取持续时间图表

Prometheus 服务发现

为收集 Swarm 节点指标，需在每个服务器部署 exporters。通过全局服务，Swarm 会在新节点自动启动 cAdvisor、node-exporter 和 dockerd-exporter 实例。Prometheus 可通过 DNS 服务发现访问这些实例。

在与 exporter 服务相同的覆盖网络上运行 Prometheus，可使用 DNS 服务发现：

yaml
scrape_configs:
  - job_name: 'node-exporter'
    dns_sd_configs:
    - names:
      - 'tasks.node-exporter'
      type: 'A'
      port: 9100
  - job_name: 'cadvisor'
    dns_sd_configs:
    - names:
      - 'tasks.cadvisor'
      type: 'A'
      port: 8080
  - job_name: 'dockerd-exporter'
    dns_sd_configs:
    - names:
      - 'tasks.dockerd-exporter'
      type: 'A'
      port: 9323

Prometheus 执行 DNS 查找时，Docker Swarm 返回每个任务的 IP 列表，从而绕过 Swarm 负载均衡器直接抓取 exporter 实例。

为识别 exporter 所在节点，node-exporter 启动时生成 node-meta.prom 文件，包含节点 ID 和名称：

bash
"node_meta{node_id=\"$NODE_ID\", node_name=\"$NODE_NAME\"} 1"

node-exporter 配置示例：

yaml
  node-exporter:
    image: stefanprodan/swarmprom-node-exporter
    environment:
      - NODE_ID={{.Node.ID}}
    volumes:
      - /etc/hostname:/etc/nodename
    command:
      - '-collector.textfile.directory=/etc/node-exporter/'

通过 node_meta 指标，可在 PromQL 查询中关联节点信息。例如，查询节点可用内存：

sum(node_memory_MemAvailable * on(instance) group_left(node_id, node_name) node_meta) by (node_id, node_name)

Prometheus 配置

Prometheus 保留期默认设为 24 小时，可通过 compose 文件或 PROMETHEUS_RETENTION 环境变量修改：

yaml
  prometheus:
    image: stefanprodan/swarmprom-prometheus
    command:
      - '-storage.tsdb.retention=24h'
    deploy:
      resources:
        limits:
          memory: 2048M
        reservations:
          memory: 1024M

使用主机卷时，可通过放置约束将 Prometheus 固定在特定节点：

yaml
  prometheus:
    image: stefanprodan/swarmprom-prometheus
    volumes:
      - prometheus:/prometheus
    deploy:
      mode: replicated
      replicas: 1
      placement:
        constraints:
          - node.labels.monitoring.role == prometheus

告警配置

swarmprom 包含以下默认告警规则：

Swarm Node CPU Usage

节点 CPU 使用率超过 80% 持续 5 分钟时告警：

ALERT node_cpu_usage
  IF 100 - (avg(irate(node_cpu{mode="idle"}[1m])  * on(instance) group_left(node_name) node_meta * 100) by (node_name)) > 80
  FOR 5m
  LABELS      { severity="warning" }
  ANNOTATIONS {
      summary = "Swarm 节点 '{{ $labels.node_name }}' CPU 告警",
      description = "Swarm 节点 {{ $labels.node_name }} CPU 使用率为 {{ humanize $value}}%。",
  }

Swarm Node Memory Alert

节点内存使用率超过 80% 持续 5 分钟时告警：

ALERT node_memory_usage
  IF sum(((node_memory_MemTotal - node_memory_MemAvailable) / node_memory_MemTotal) * on(instance) group_left(node_name) node_meta * 100) by (node_name) > 80
  FOR 5m
  LABELS      { severity="warning" }
  ANNOTATIONS {
      summary = "Swarm 节点 '{{ $labels.node_name }}' 内存告警",
      description = "Swarm 节点 {{ $labels.node_name }} 内存使用率为 {{ humanize $value}}%。",
  }

Swarm Node Disk Alert

节点存储使用率超过 85% 持续 5 分钟时告警：

ALERT node_disk_usage
  IF ((node_filesystem_size{mountpoint="/rootfs"} - node_filesystem_free{mountpoint="/rootfs"}) * 100 / node_filesystem_size{mountpoint="/rootfs"}) * on(instance) group_left(node_name) node_meta > 85
  FOR 5m
  LABELS      { severity="warning" }
  ANNOTATIONS {
      summary = "Swarm 节点 '{{ $labels.node_name }}' 磁盘告警",
      description = "Swarm 节点 {{ $labels.node_name }} 磁盘使用率为 {{ humanize $value}}%。",
  }

Swarm Node Disk Fill Rate Alert

节点存储预计 6 小时内将用尽时告警：

ALERT node_disk_fill_rate_6h
  IF predict_linear(node_filesystem_free{mountpoint="/rootfs"}[1h], 6*3600) * on(instance) group_left(node_name) node_meta < 0
  FOR 1h
  LABELS      { severity="critical" }
  ANNOTATIONS {
      summary = "Swarm 节点 '{{ $labels.node_name }}' 磁盘填充告警",
      description = "Swarm 节点 {{ $labels.node_name }} 磁盘将在 6 小时内填满。",
  }

可修改 swarm_node 和 swarm_task 文件添加告警规则，重新部署栈即可更新。

Alertmanager 配置 Slack 接收者需通过环境变量设置：

yaml
  alertmanager:
    image: stefanprodan/swarmprom-alertmanager
    environment:
      - SLACK_URL=${SLACK_URL}
      - SLACK_CHANNEL=${SLACK_CHANNEL}
      - SLACK_USER=${SLACK_USER}

Unsee 提供 Alertmanager 告警管理仪表盘，访问 http://<swarm-ip>:9094，使用 admin 凭据登录。

监控应用和后端服务

可扩展 swarmprom 以监控 MongoDB、PostgreSQL、Kafka、Redis 等服务，或使用 Prometheus 客户端库埋点自定义应用。

需将服务连接到 mon_net 网络（或让 mon_prometheus 服务连接到应用所在网络），然后通过 JOBS 环境变量添加服务到 Prometheus 配置：

yaml
  prometheus:
    image: stefanprodan/swarmprom-prometheus
    environment:
      - JOBS=mongo-exporter:9216 kafka-exporter:9216 redis-exporter:9216