redirhub/watchmen_worker

Watchmen 分布式监控系统

概述

Watchmen是一个分布式监控系统，包含gaffer和worker两个核心组件，用于在多个不同区域分发和运行高度可配置的监控任务。该系统采用Tornado、aio-pika等异步I/O库，通过协程实现异步消息处理、监控程序和HTTP API，可在单线程中提供多种功能，因此具有轻量级特性，资源占用少，能满足高并发任务需求。

核心功能与特性

分布式架构

• 多区域部署：在不同区域部署多个worker以确保监控任务的广泛覆盖
• 集中管理：至少部署一个gaffer节点，负责任务分发、数据收集及提供API接口

异步处理机制

• 基于Python asyncio库实现协程架构
• 单线程处理多任务，资源利用率高，支持高并发监控任务

消息队列集成

• 使用RabbitMQ作为消息 broker，实现任务分发与数据收集
• 采用aio-pika异步客户端，支持异步消息处理
• 高可靠性：确保监控数据不丢失，提供完善的文档和管理工具

任务管理能力

• 重复任务处理：支持任务多次执行，worker在同一任务周期内不会重复执行同一任务
• 优先级队列：基于RabbitMQ优先级队列机制，在worker资源紧张时优先执行高优先级用户任务
• TTL消息：通过RabbitMQ TTL消息机制，确保队列在新一轮任务开始时自动清理过期任务

工作原理

1. 任务触发与分发：当gaffer感知到任务触发时，会根据任务配置将其包装并发送到指定队列
2. 任务执行：订阅相应队列的worker从RabbitMQ获取任务消息，执行监控程序，并将结果发布到数据队列
3. 结果处理：gaffer从数据队列收集任务结果，进行存储，并通过API回调、邮件或其他社交应用通知用户

队列设计

• 工作队列：按区域（如国家、城市）划分，每个工作队列对应一个区域
• 数据队列：worker将执行结果发布到数据队列，gaffer订阅数据队列以收集结果
• 任务实例：一个任务实例表示worker执行一次监控操作

使用场景与适用范围

• 多区域分布式监控需求（如跨国家/城市的服务监控）
• 高并发监控任务场景
• 需要可靠消息传递和数据不丢失的监控系统
• 资源受限环境下的轻量级监控部署

使用方法与配置说明

前提条件

• 部署RabbitMQ服务（推荐使用官方Docker镜像）
• 确保网络通畅，gaffer与worker能访问RabbitMQ服务

环境变量配置

Docker部署示例

1. 启动RabbitMQ

bash
docker run -d --name rabbitmq -p 5672:5672 -p 15672:15672 rabbitmq:3-management

2. 启动Gaffer节点

bash
docker run -d --name watchmen-gaffer \
  -e RABBITMQ_URL=amqp://guest:guest@rabbitmq:5672/ \
  -e ROLE=gaffer \
  -e DATA_QUEUE=watchmen-data-queue \
  --link rabbitmq:rabbitmq \
  watchmen:latest

3. 启动Worker节点（北京区域）

bash
docker run -d --name watchmen-worker-beijing \
  -e RABBITMQ_URL=amqp://guest:guest@rabbitmq:5672/ \
  -e ROLE=worker \
  -e REGION=cn-beijing \
  -e WORK_QUEUES=cn-beijing-queue \
  -e DATA_QUEUE=watchmen-data-queue \
  --link rabbitmq:rabbitmq \
  watchmen:latest

Docker Compose配置示例

yaml
version: '3'

services:
  rabbitmq:
    image: rabbitmq:3-management
    ports:
      - "5672:5672"
      - "15672:15672"
    environment:
      RABBITMQ_DEFAULT_USER: guest
      RABBITMQ_DEFAULT_PASS: guest

  gaffer:
    image: watchmen:latest
    depends_on:
      - rabbitmq
    environment:
      - RABBITMQ_URL=amqp://guest:guest@rabbitmq:5672/
      - ROLE=gaffer
      - DATA_QUEUE=watchmen-data-queue

  worker-beijing:
    image: watchmen:latest
    depends_on:
      - rabbitmq
    environment:
      - RABBITMQ_URL=amqp://guest:guest@rabbitmq:5672/
      - ROLE=worker
      - REGION=cn-beijing
      - WORK_QUEUES=cn-beijing-queue
      - DATA_QUEUE=watchmen-data-queue

  worker-shanghai:
    image: watchmen:latest
    depends_on:
      - rabbitmq
    environment:
      - RABBITMQ_URL=amqp://guest:guest@rabbitmq:5672/
      - ROLE=worker
      - REGION=cn-shanghai
      - WORK_QUEUES=cn-shanghai-queue
      - DATA_QUEUE=watchmen-data-queue

注意事项

1. 任务可能需要多次执行，因此同一任务可能在队列中出现多次，但worker在同一任务周期内不会重复执行同一任务实例
2. 优先级队列机制确保在worker资源紧张时，高优先级用户任务优先执行
3. TTL消息机制确保队列在新一轮任务开始时自动清理过期任务，保持队列整洁