sslhep/servicex-transformer

ServiceX_transformer镜像说明

镜像概述

ServiceX_transformer是ServiceX应用的输入输出转换代码库，包含构建ServiceX transformer的通用类及legacy transformer镜像代码。支持从xAOD文件（通过pyroot）和ROOT文件（通过uproot）提取指定列，转换为awkward数组，并将结果发布到后端消息系统或对象存储。

核心功能

1. 多源数据提取：支持xAOD文件和扁平ROOT文件的列（ROOT Branches）提取。
2. 数据格式转换：将提取数据转换为awkward数组，适配后续分析需求。
3. 灵活输出方式：结果可发布到Kafka消息系统（Arrow格式）或S3兼容对象存储（Parquet格式）。
4. 两种transformer变体：xaod_transformer（处理xAOD文件）和uproot_transformer（处理扁平ROOT文件）。

使用场景

• ServiceX集群部署：作为Kubernetes集群中ServiceX应用的组件，批量处理ROOT文件转换请求。
• 独立数据处理：作为CLI工具单独运行，用于本地或远程ROOT文件的转换调试与验证。

配置说明

镜像构建

基础镜像构建：

bash
docker build -t sslhep/servicex-transformer-base:develop .

构建transformer变体：

bash
docker build --build-arg BASE_VERSION=develop -f Dockerfile.uprootTransformer -t sslhep/servicex-transformer-uproot:develop .
docker build --build-arg BASE_VERSION=develop -f Dockerfile.xAODTransformer -t sslhep/servicex-transformer-xaod:develop .

容器运行

挂载X509代理（如需）

bash
docker run --rm \
    --mount type=bind,source=$HOME/.globus,readonly,target=/etc/grid-certs \
    --mount type=bind,source="$(pwd)"/secrets/secrets.txt,target=/servicex/secrets.txt \
    --mount type=volume,source=x509,target=/etc/grid-security \
    --name=x509-secrets docker.xuanyuan.run/sslhep/x509-secrets:latest

交互式容器启动

bash
docker run --rm -it \
    --mount type=volume,source=x509,target=/etc/grid-security-ro \
    docker.xuanyuan.run/sslhep/servicex-transformer:develop bash

命令行参数参考

开发调试

挂载源码运行

bash
docker run -it \
    --mount type=bind,source=$(pwd),target=/code \
    --mount type=bind,source=$(pwd)/../data,target=/data \
    --mount type=volume,source=x509,target=/etc/grid-security-ro \
    docker.xuanyuan.run/sslhep/servicex-transformer:develop bash

容器内执行转换：

bash
cd /code
python xaod_branches.py --path /data/AOD.11182705._000001.pool.root.1 --result-destination kafka --request-id my-bucket --chunks 5000

测试执行

bash
docker run docker.xuanyuan.run/sslhep/servicex-transformer:rabbitmq bash -c "source /home/atlas/.bashrc && pytest -s"