opensciencegrid/gracc-collector

gracc-collector 镜像文档

概述

gracc-collector是一个"Gratia兼容收集器"，作为已过时的Gratia会计收集器/探针与新GRÅCC会计系统之间的过渡接口。它通过HTTP监听记录束（如Gratia收集器通过复制发送或Gratia探针直接发送的记录），将记录束处理为单个使用记录，并发送到RabbitMQ或其他AMQP 0.9.1代理。

核心功能和特性

• Gratia兼容性：接收Gratia收集器或探针发送的记录束
• HTTP服务：在指定地址和端口监听HTTP请求，接收记录数据
• 记录处理：将接收到的记录束解析为单个使用记录
• AMQP集成：支持将处理后的记录发送到RabbitMQ或其他AMQP 0.9.1兼容代理
• 灵活配置：支持TOML配置文件和环境变量（环境变量优先级高于配置文件）
• 日志与调试：可配置日志级别，支持pprof性能分析接口
• 信号处理：支持通过系统信号刷新日志、切换调试模式

配置说明

配置文件格式

配置文件采用https://github.com/toml-lang/toml%E6%A0%BC%E5%BC%8F%E3%80%82%E9%85%8D%E7%BD%AE%E9%80%89%E9%A1%B9%E4%B9%9F%E5%8F%AF%E9%80%9A%E8%BF%87%E7%8E%AF%E5%A2%83%E5%8F%98%E9%87%8F%E6%8C%87%E5%AE%9A%EF%BC%88%E5%A6%82%E4%B8%8B%E6%8B%AC%E5%8F%B7%E4%B8%AD%E6%89%80%E7%A4%BA%EF%BC%89%EF%BC%8C%E7%8E%AF%E5%A2%83%E5%8F%98%E9%87%8F%E4%BC%9A%E8%A6%86%E7%9B%96%E9%85%8D%E7%BD%AE%E6%96%87%E4%BB%B6%E4%B8%AD%E7%9A%84%E8%AE%BE%E7%BD%AE%E3%80%82

主要配置选项

toml
address = "localhost"  # 监听地址 (环境变量: GRACC_ADDRESS)
port = "8888"          # 监听端口 (环境变量: GRACC_PORT)
timeout = "60s"        # HTTP连接超时 (环境变量: GRACC_TIMEOUT)
loglevel = "debug"     # 日志级别 [debug|info|warn|error|fatal|panic] (环境变量: GRACC_LOGLEVEL)

AMQP配置

toml
[AMQP]
scheme = "amqp"        # AMQP URI scheme [amqp|amqps] (环境变量: GRACC_AMQP_SCHEME)
host = "localhost"     # AMQP代理地址 (环境变量: GRACC_AMQP_HOST)
port = "5672"          # AMQP代理端口 (环境变量: GRACC_AMQP_PORT)
vhost = ""             # AMQP虚拟主机 (环境变量: GRACC_AMQP_VHOST)
exchange = ""          # 交换器名称 (环境变量: GRACC_AMQP_EXCHANGE)
routingKey = ""        # 路由键 (环境变量: GRACC_AMQP_ROUTINGKEY)
durable = true         # 交换器是否持久化（服务重启后保留）(环境变量: GRACC_AMQP_DURABLE)
autoDelete = true      # 当没有剩余绑定时是否删除交换器 (环境变量: GRACC_AMQP_AUTODELETE)
user = "guest"         # AMQP用户名 (环境变量: GRACC_AMQP_USER)
password = "guest"     # AMQP密码 (环境变量: GRACC_AMQP_PASSWORD)
format = "raw"         # 记录发送格式 [raw|xml|json] (环境变量: GRACC_AMQP_FORMAT)
retry = "10s"          # AMQP连接重试间隔 (环境变量: GRACC_AMQP_RETRY)

使用方法

命令行参数

bash
gracc-collector [-c <config file>] [-l <log file>] [-pprof on|<address:port>]

• <log file>：日志输出位置，可设为"stdout"、"stderr"或文件路径，默认为"stderr"
• -pprof on：在主HTTP服务器的/debug/pprof/路径暴露pprof性能分析接口
• -pprof <address:port>：在指定地址和端口启动独立HTTP服务器，通过/debug/pprof/暴露pprof接口

Docker部署示例

基本运行命令

bash
docker run -d \
  -p 8888:8888 \
  -e GRACC_ADDRESS=0.0.0.0 \
  -e GRACC_PORT=8888 \
  -e GRACC_AMQP_HOST=rabbitmq \
  -e GRACC_AMQP_PORT=5672 \
  -e GRACC_AMQP_USER=user \
  -e GRACC_AMQP_PASSWORD=pass \
  --name gracc-collector \
  opensciencegrid/gracc-collector

docker-compose配置

yaml
version: '3'
services:
  gracc-collector:
    image: opensciencegrid/gracc-collector
    ports:
      - "8888:8888"
    environment:
      - GRACC_ADDRESS=0.0.0.0
      - GRACC_PORT=8888
      - GRACC_LOGLEVEL=info
      - GRACC_AMQP_SCHEME=amqp
      - GRACC_AMQP_HOST=rabbitmq
      - GRACC_AMQP_PORT=5672
      - GRACC_AMQP_USER=guest
      - GRACC_AMQP_PASSWORD=guest
      - GRACC_AMQP_FORMAT=json
    depends_on:
      - rabbitmq
  rabbitmq:
    image: rabbitmq:3-management
    ports:
      - "5672:5672"
      - "15672:15672"

systemd服务配置

示例systemd单元配置文件（sample/gracc.service）：

ini
[Unit]
Description=GRACC Collector Service
After=network.target rabbitmq-server.service

[Service]
User=gracc
Group=gracc
ExecStart=/usr/bin/gracc-collector -c /etc/gracc/gracc.toml -l /var/log/gracc/collector.log
Restart=on-failure
RestartSec=5s
Environment=PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin

[Install]
WantedBy=multi-user.target

使用方法：

• 复制并修改配置文件到/usr/lib/systemd/system/
• 启动服务：systemctl start gracc.service
• 停止服务：systemctl stop gracc.service
• 重启服务：systemctl restart gracc.service
• 刷新日志文件：systemctl kill --signal=SIGUSR1 gracc.service
• 切换调试日志：systemctl kill --signal=SIGUSR2 gracc.service

logrotate配置

示例日志轮转配置文件（sample/gracc.logrotate）：

/var/log/gracc/collector.log {
    daily
    missingok
    rotate 7
    compress
    delaycompress
    notifempty
    create 0640 gracc gracc
}

使用方法：复制并修改配置文件到/etc/logrotate.d/gracc

版本历史

v1.1.7

• 增加消息持久性，支持AMQP服务器重启后消息保留

v1.1.6

• 支持通过osg-development仓库制作Dockerfile发布
• 添加适当的许可证文件

v1.1.5

• 支持X-Forwarded-For/X-Real-IP头，适用于收集器运行在HTTP代理后的场景

v1.1.4

• 修复收集器无法识别AMQP解除阻塞信号的问题

v1.1.3

• 改进AMQP连接阻塞处理：若连接长时间阻塞，现有HTTP连接将超时并返回错误（不再无限期保持打开），新HTTP连接将立即返回错误
• 改进错误处理和HTTP响应

v1.1.2

• 修复RabbitMQ不可用时的资源泄漏问题

v1.1.1

• 添加可配置的AMQP scheme，支持与代理的TLS连接

v1.1.0

• 支持UsageRecord（与JobUsageRecord处理方式相同）

v1.0.0

• 功能完整，可作为初始生产部署替换Gratia收集器
• 接收探针通常发送的XML记录束（"multiupdate"）

v0.4.0

• 允许通过环境变量设置配置选项（优先级：环境变量 > 配置文件 > 默认值）
• 将timeout和AMQP.retry配置选项改为持续时间字符串（格式如"300ms"、"-1.5h"或"2h45m"，支持单位：ns、us/µs、ms、s、m、h）

v0.03.01

• 将JobUsageRecord完全展平为简单的键值哈希映射

v0.03.00

• 基于OGF UsageRecord修订JSON输出结构，并将默认输出切换为JSON
• https://opensciencegrid.github.io/gracc/dev-docs/raw-records/

v0.02.00

• 重大重写，简化代码同时保持健壮的错误处理
• 移除不需要的文件、Elasticsearch和Kafka输出
• 每个接收到的记录束打开一个AMQP通道，直到所有记录被AMQP代理确认后才关闭来自探针或收集器的HTTP连接；若发生错误或记录被返回，则返回500错误码

v0.01.10

• 处理AMQP返回的记录
• 改进记录束解析

v0.01.09

• 改进AMQP通信错误处理

v0.01.08

• 支持多个AMQP工作线程
• 若输出过滤器阻塞时间过长则超时，向请求返回错误码以便记录束稍后重发
• 改进日志消息和响应

v0.01.07

• 创建用于输出记录的内部队列

v0.01.05

• 添加基本收集器统计信息，通过/stats路径提供

v0.01.04

• 添加将记录写入RabbitMQ的选项

v0.01.03

• 添加将记录写入文件的选项

v0.01.02

• 添加将记录发送到Kafka主题的选项

v0.01.01

• 初始开发版本，将记录发送到Elasticsearch