blemmenes/radosgw_usage_exporter

Ceph RADOSGW Usage Exporter

概述

Ceph RADOSGW Usage Exporter是一款Prometheus导出器，用于抓取Ceph RADOSGW（对象网关）的使用信息（包括操作和存储桶数据）。该信息通过Ceph RADOSGW的管理员操作API收集，并转换为Prometheus可抓取的指标格式。本导出器基于编写Jenkins导出器的指南及https://github.com/lovoo/jenkins_exporter%E5%BC%80%E5%8F%91%E3%80%82

核心功能

• 抓取Ceph RADOSGW的存储桶使用信息
• 收集RADOSGW的操作统计数据
• 将收集的信息转换为Prometheus指标格式
• 支持通过命令行参数或环境变量配置

环境要求

基础环境

• 已部署并运行的Ceph集群，且已配置对象网关（RADOSGW）

Ceph RADOSGW配置

RADOSGW默认未启用使用信息收集，需通过ceph.conf配置以下参数：

启用使用日志

rgw enable usage log = true

更多配置选项可参考Ceph官方文档

配置管理员入口点

rgw admin entry = "admin"  # 默认值为'admin'

启用Admin API

rgw enable apis = "s3, admin"  # 默认已启用admin API

用户权限配置

导出器需要具有以下权限的RADOSGW用户，配置方法参考Ceph管理员指南：

json
"caps": [
    {
        "type": "buckets",
        "perm": "read"
    },
    {
        "type": "metadata",
        "perm": "read"
    },
    {
        "type": "usage",
        "perm": "read"
    },
    {
        "type": "users",
        "perm": "read"
    }
]

注意：若在RADOSGW前使用负载均衡器，需调整超时设置（如haproxy的timeout server），避免因存储桶或用户数量过多导致查询超时。

使用方法

本地安装

bash
git clone git@github.com:blemmenes/radosgw_usage_exporter.git
cd radosgw_usage_exporter
pip install -r requirements.txt

命令行参数

bash
usage: radosgw_usage_exporter.py [-h] [-H HOST] [-e ADMIN_ENTRY]
                                 [-a ACCESS_KEY] [-s SECRET_KEY] [-p PORT]

RADOSGW地址、本地监听端口以及S3访问密钥配置

可选参数:
  -h, --help            显示帮助信息并退出
  -H HOST, --host HOST  RADOSGW API的服务器URL（示例: http://objects.dreamhost.com/）
  -e ADMIN_ENTRY, --admin_entry ADMIN_ENTRY
                        管理员请求URL的入口点 [默认值: 'admin']
  -a ACCESS_KEY, --access_key ACCESS_KEY
                        S3访问密钥
  -s SECRET_KEY, --secret_key SECRET_KEY
                        S3密钥
  -p PORT, --port PORT  本地监听端口

命令示例

bash
./radosgw_usage_exporter.py -H https://objects.dreamhost.com/ -a JXUABTZZYHAFLCMF9VYV -s jjP8RDD0R156atS6ACSy2vNdJLdEPM0TJQ5jD1pw

Docker部署

通过命令行参数配置

bash
docker run -d -p 9242:9242 blemmenes/radosgw_usage_exporter:latest \
  -H <RADOSGW服务器URL> -a <ACCESS_KEY> -s <SECRET_KEY> -p 9242

通过环境变量配置

bash
docker run -d -p 9242:9242 \
  -e "RADOSGW_SERVER=<RADOSGW服务器URL>" \
  -e "VIRTUAL_PORT=9242" \
  -e "ACCESS_KEY=<S3访问密钥>" \
  -e "SECRET_KEY=<S3密钥>" \
  blemmenes/radosgw_usage_exporter:latest

指标获取

部署后，Prometheus可通过以下端点抓取指标：

http://<导出器主机>:9242/metrics