opensciencegrid/central-collector

OSG Central Collector 镜像文档

镜像概述

OSG Central Collector 容器是 Open Science Grid (OSG) 基础设施的核心组件之一，作为分布式计算资源的中央数据收集点，负责从OSG网络中的各个计算节点、存储资源和服务组件收集监控数据、状态信息及性能指标，通过聚合与处理后提供统一的数据接口，支撑OSG资源的高效管理、故障排查与性能优化。

核心功能与特性

1. 分布式数据收集

• 支持从OSG计算元素(CE)、存储元素(SE)、工人节点(WN)等多种资源类型采集数据
• 兼容OSG标准监控协议与数据格式，如HTCondor-CE状态数据、节点健康检查指标
• 支持定时采集与实时推送两种数据获取模式

2. 数据聚合与处理

• 对多源异构数据进行标准化处理，确保数据一致性
• 提供数据过滤、清洗与聚合功能，支持按资源类型、地域、项目等维度分类
• 内置数据压缩与归档机制，优化存储效率

3. 状态监控与告警

• 实时监控分布式资源的运行状态，识别异常节点与服务
• 支持自定义告警阈值，通过日志或外部接口输出告警信息
• 提供资源可用性与负载趋势分析能力

4. 兼容性与可扩展性

• 兼容OSG 3.5+版本基础设施，支持主流Linux发行版节点
• 模块化设计，可集成第三方监控工具与数据分析平台
• 支持水平扩展，可通过多实例部署提升数据处理能力

使用场景与适用范围

适用场景

• OSG基础设施运维：为管理员提供全局资源监控视图，辅助资源调度决策
• 分布式计算资源监控：跟踪跨地域计算节点的CPU、内存、网络等资源利用率
• 科研计算平台管理：监控科研项目运行状态，优化计算资源分配
• 故障排查与根因分析：通过历史数据与实时状态对比，快速定位资源异常原因

适用对象

• Open Science Grid联盟成员单位运维团队
• 分布式科研计算平台管理员
• 大型科研项目资源协调人员
• 高性能计算中心基础设施管理团队

使用方法与配置说明

基本部署（docker run）

bash
docker run -d \
  --name osg-central-collector \
  -p 8080:8080 \  # 数据接口端口
  -p 9090:9090 \  # 监控面板端口
  -e COLLECTOR_PORT=8080 \
  -e LOG_LEVEL=INFO \
  -e DATA_RETENTION_DAYS=30 \
  -v /host/collector-data:/var/lib/osg-collector \  # 持久化数据目录
  --network osg-internal \  # 接入OSG内部网络
  osg/central-collector:latest

docker-compose配置示例

yaml
version: '3.8'
services:
  osg-collector:
    image: osg/central-collector:latest
    container_name: osg-central-collector
    restart: unless-stopped
    ports:
      - "8080:8080"
      - "9090:9090"
    environment:
      - COLLECTOR_PORT=8080
      - LOG_LEVEL=INFO
      - DATA_RETENTION_DAYS=30
      - UPSTREAM_SERVERS=ce-node-1.example.org,ce-node-2.example.org
      - AUTH_ENABLED=true
      - AUTH_TOKEN=your-secure-token
    volumes:
      - collector-data:/var/lib/osg-collector
      - ./config:/etc/osg-collector  # 自定义配置文件目录
    networks:
      - osg-network

networks:
  osg-network:
    driver: bridge

volumes:
  collector-data:
    driver: local

关键环境变量配置

持久化存储配置

容器需持久化存储的数据包括：

• 历史监控数据（/var/lib/osg-collector/data）
• 配置文件（/etc/osg-collector）
• 日志文件（/var/log/osg-collector）

建议通过宿主机目录挂载或命名卷实现持久化，避免容器重启导致数据丢失。

网络配置

• 网络模式：建议使用--network参数接入OSG内部桥接网络，确保与各计算节点通信
• 端口映射：根据实际需求映射数据接口（默认8080）与监控面板（默认9090）端口
• 防火墙规则：需开放容器端口至OSG节点网段，限制外部非授权访问

验证部署状态

部署后可通过以下方式验证服务状态：

1. 访问监控面板：http://<host-ip>:9090
2. 检查数据接口：curl http://localhost:8080/api/v1/resources/status
3. 查看容器日志：docker logs -f osg-central-collector

注意事项

• 容器运行需至少2GB内存与10GB磁盘空间，生产环境建议配置4GB+内存
• 首次启动时会执行初始化配置，可能需要3-5分钟完成数据目录初始化
• 升级镜像前建议备份持久化数据目录，避免配置文件不兼容导致异常
• 高负载场景下可通过水平扩展部署多个实例，配合负载均衡器提升处理能力
• 需定期清理过期数据（可通过DATA_RETENTION_DAYS自动管理或手动执行/usr/bin/osg-collector-cleanup）