grimoirelab/sortinghat-worker

SortingHat Worker 镜像文档

镜像概述

SortingHat Worker镜像是SortingHat贡献者身份管理系统的工作节点组件，专门用于处理具体的数据处理任务。作为分布式架构的一部分，该镜像负责执行身份识别、合并、数据同步等计算密集型或耗时任务，减轻主服务负载，提升整体系统处理效率，适用于各类开源项目及协作平台的贡献者身份数据管理场景。

核心功能与特性

1. 身份数据处理

• 身份识别与合并：自动识别重复或关联的贡献者身份（如不同***、用户名对应同一人），支持规则化合并逻辑
• 数据标准化：统一贡献者信息格式（姓名、***、关联账号等），确保数据一致性
• 历史数据迁移：支持从其他系统（如Git、GitHub、GitLab）迁移贡献者历史数据

2. 任务处理能力

• 批量任务执行：支持大规模贡献者数据批量处理，提升效率
• 任务优先级管理：可配置任务队列优先级，确保关键任务优先执行
• 失败重试机制：任务执行失败时自动重试，支持自定义重试次数与间隔

3. 数据同步与集成

• 多数据源同步：支持与Git仓库、GitHub API、GitLab API等数据源实时/定时同步
• 数据库集成：兼容PostgreSQL等主流数据库，确保数据持久化与一致性
• API交互支持：可通过REST API与SortingHat主服务或第三方系统通信

4. 可观测性与扩展

• 详细日志记录：记录任务执行过程、结果及错误信息，支持日志级别配置
• 监控指标暴露：提供Prometheus兼容指标，支持任务执行时长、成功率等监控
• 模块化扩展：支持通过插件扩展任务类型，适配自定义业务需求

使用场景

1. 开源项目贡献者管理

• 自动化处理GitHub/GitLab贡献者数据，识别同一贡献者的不同账号
• 定期同步项目贡献者列表，生成统一的贡献者报告

2. 大型协作项目数据处理

• 处理数千至上万贡献者的身份合并任务，减少人工操作
• 分布式执行多数据源同步，避免单点性能瓶颈

3. 定期任务自动化

• 配置定时任务（如每日/每周）执行数据同步与身份合并
• 批量处理历史遗留的贡献者身份数据，快速完成系统初始化

使用方法

基本运行方式

通过docker run命令启动Worker容器，需配置必要环境变量连接数据库及指定任务类型：

bash
docker run -d \
  --name sortinghat-worker \
  -e DB_HOST=postgres-host \
  -e DB_PORT=5432 \
  -e DB_USER=sortinghat \
  -e DB_PASSWORD=secure-password \
  -e DB_NAME=sortinghat_db \
  -e TASK_TYPE=identity-merge \
  -e LOG_LEVEL=info \
  sortinghat/worker:latest

Docker Compose配置示例

与SortingHat主服务及数据库协同部署：

yaml
version: '3.8'
services:
  postgres:
    image: postgres:14
    environment:
      POSTGRES_USER: sortinghat
      POSTGRES_PASSWORD: secure-password
      POSTGRES_DB: sortinghat_db
    volumes:
      - postgres-data:/var/lib/postgresql/data

  sortinghat-worker:
    image: sortinghat/worker:latest
    depends_on:
      - postgres
    environment:
      DB_HOST: postgres
      DB_PORT: 5432
      DB_USER: sortinghat
      DB_PASSWORD: secure-password
      DB_NAME: sortinghat_db
      TASK_TYPE: data-sync  # 任务类型：data-sync/identity-merge/batch-process
      SYNC_INTERVAL: 3600   # 同步间隔（秒），仅适用于定时任务
      LOG_LEVEL: info
      API_KEY: your-sortinghat-api-key  # 与主服务通信的API密钥
    restart: unless-stopped

volumes:
  postgres-data:

配置参数说明

环境变量配置

任务类型说明

• data-sync：从配置的数据源（如GitHub API）同步贡献者数据至数据库
• identity-merge：基于规则自动合并识别到的重复贡献者身份
• batch-process：执行批量处理任务（需通过TASK_PARAMS指定具体操作）

注意事项

• 确保数据库服务已提前部署并可被Worker容器访问
• 敏感信息（如数据库密码、API密钥）建议通过容器编排平台的保密机制管理
• 大规模数据处理时，建议通过--memory和--cpus限制容器资源，避免影响其他服务
• 任务执行日志默认输出至stdout，可通过日志驱动配置持久化或集成至ELK等日志系统