cronosnull/cms_htcondor_es

cronosnull/cms_htcondor_es镜像说明

镜像概述

本镜像提供一套脚本工具，用于从HTCondor池（重点针对CMS全局池）查询历史及当前作业的ClassAds数据，将其转换为结构化JSON文档后上传至ElasticSearch实例。脚本会自动忽略CMS_Type标记为DONOTMONIT的作业，核心逻辑聚焦于ClassAds到ElasticSearch可用格式的转换，虽针对CMS场景设计，但可复用至其他HTCondor池。

核心功能

1. 数据采集：从指定HTCondor收集器获取历史及当前作业ClassAds；
2. 格式转换：将ClassAds转换为JSON文档，同时计算衍生属性（如CoreHr、CpuEff等）；
3. 数据上传：将JSON文档批量上传至ElasticSearch；
4. 过滤机制：排除无需监控的作业；
5. 多池支持：通过配置文件管理多个HTCondor池的收集器。

使用场景

• CMS全局池作业的资源使用（核心小时、内存）统计；
• 作业性能指标（CPU效率、事件处理速率）分析；
• Kibana可视化作业状态（完成、运行、闲置）及地域分布；
• 作业失败原因追踪（如退出码、预占导致的无效计算）。

配置说明

关键命令参数

脚本spider_cms.py的主要参数：

• --process_queue：处理当前队列作业；
• --feed_es：上传数据至ElasticSearch；
• --collectors_file：指定收集器配置文件路径（JSON格式）；
• --log_dir：日志存储目录；
• --query_queue_batch_size：队列查询的批量大小；
• --upload_pool_size：上传线程池大小。

收集器配置示例（collectors.json）

json
{
    "Global": ["collector1.example.com:8080", "collector2.example.com"],
    "Volunteer": ["volunteer-collector.example.com"]
}

Docker部署示例

挂载本地配置文件与日志目录运行容器：

bash
docker run -d \
  -v /local/path/collectors.json:/app/etc/collectors.json \
  -v /local/path/logs:/app/logs \
  cronosnull/cms_htcondor_es \
  python spider_cms.py \
    --log_dir /app/logs \
    --log_level WARNING \
    --process_queue \
    --collectors_file /app/etc/collectors.json \
    --query_queue_batch_size 100 \
    --upload_pool_size 8