sslhep/servicex-analysis

ServiceX分析器镜像

本镜像提供ServiceX输出数据的分析能力，集成Kafka客户端、直方图生成工具及集群调试组件，适用于在Kubernetes环境中开展数据分析任务。

镜像概述

该镜像核心为ServiceX分析器代码，可连接Kafka Broker消费消息并反序列化为awkward数组，同时包含直方图生成脚本，支持数据可视化。此外，镜像内置vi、git及持久化卷，便于集群内的开发与调试。

核心功能

1. Kafka数据处理：连接Broker消费ServiceX消息，反序列化为awkward数组；
2. 直方图生成：读取Kafka中的直方图数据块，累加后生成PNG图表；
3. 集群调试：提供独立Pod环境，支持脚本修改、版本控制及文件传输；
4. Job批量执行：以Kubernetes Job模式部署，批量处理大规模数据。

使用场景

• 集群内ServiceX分析脚本的开发与调试；
• 批量运行ServiceX数据处理任务；
• 生成ServiceX数据的直方图可视化结果。

配置与使用说明

构建镜像

bash
docker build -t sslhep/servicex-analysis:latest .
docker push sslhep/servicex-analysis:latest

部署独立Pod

1. 创建持久化卷与Pod：

   bash
   kubectl apply -f kube/dev_volume_pv.yaml
   kubectl apply -f kube/invariant_mass.yaml
   

2. 进入Pod终端：

   bash
   kubectl exec -it invariant-mass-analysis bash
   

3. 运行分析脚本：

   bash
   python /servicex/invariant_mass.py --broker servicex-kafka.kafka.svc.cluster.local
   

以Job模式运行

bash
kubectl apply -f kube/invariant_mass_job.yaml

Job将处理数据并输出直方图数据块至Kafka主题。

生成直方图

运行直方图脚本：

bash
python histogrammer.py --broker servicex-kafka.kafka.svc.cluster.local

脚本完成后，在/servicex目录生成图表，可复制到本地：

bash
kubectl cp invariant-mass-analysis:/servicex/plot.png /tmp/plot.png

集群内开发支持

• vi工具：快速修改脚本；
• git工具：代码仓库克隆与提交；
• 持久化卷/devl：Pod与本地文件传输（如图表、脚本）。