ribbybibby/s3-exporter

AWS S3 Exporter

镜像概述和主要用途

该镜像提供AWS S3桶对象的Prometheus指标，通过查询S3 API获取指定桶和前缀的对象信息并生成指标。主要用于监控备份作业和批量上传状态，可通过比较对象大小/数量增长趋势或最后修改日期验证业务功能是否正常。

核心功能和特性

• 提供多维度S3对象指标：包括最大对象大小、最近修改时间、总大小、对象数量等
• 支持通过HTTP端点查询特定桶和前缀的指标
• 灵活的AWS凭证配置：支持环境变量或挂载AWS配置目录两种方式
• 与Prometheus无缝集成：支持静态配置和服务发现两种监控模式
• 可配置的Web监听地址、指标路径和日志级别

使用场景和适用范围

• 监控备份作业状态：验证备份文件是否按预期生成和增长
• 跟踪批量上传进度：监控上传文件的数量和大小是否符合预期
• 分析S3存储趋势：统计对象总数和总大小随时间的变化
• 验证数据更新状态：检查关键对象的最后修改时间是否在合理范围内

使用方法和配置说明

构建（可选）

从源码构建可执行文件：

bash
make

直接运行

bash
./s3_exporter <flags>

通过/probe端点查询指定桶和前缀的指标：

bash
curl localhost:9340/probe?bucket=some-bucket&prefix=some-folder/some-file.txt

AWS凭证配置

exporter不会自动配置AWS会话，需按AWS SDK文档提供凭证。若需从~/.aws/config加载凭证，需设置环境变量：

bash
export AWS_SDK_LOAD_CONFIG=true

Docker部署

拉取镜像

bash
docker pull ribbybibby/s3-exporter

运行容器

需向容器提供AWS凭证，支持以下两种方式：

环境变量方式：

bash
docker run -p 9340:9340 \
  -e AWS_ACCESS_KEY_ID=<值> \
  -e AWS_SECRET_ACCESS_KEY=<值> \
  -e AWS_REGION=<值> \
  ribbybibby/s3-exporter:latest <flags>

挂载卷方式：

bash
docker run -p 9340:9340 \
  -e AWS_SDK_LOAD_CONFIG=true \
  -e HOME=/ \
  -v $HOME/.aws:/.aws \
  ribbybibby/s3-exporter:latest <flags>

配置参数（Flags）

所有参数可通过环境变量设置，前缀为S3_EXPORTER_。例如：S3_EXPORTER_S3_ENDPOINT_URL=http://s3.example.local。

指标说明

Prometheus集成

静态配置

通过重标签配置监控指定桶和前缀：

yaml
scrape_configs:
  - job_name: "s3"
    metrics_path: /probe
    static_configs:
      - targets:
          - bucket=stuff;prefix=thing.txt;
          - bucket=other-stuff;prefix=another-thing.gif;
    relabel_configs:
      - source_labels: [__address__]
        regex: "^bucket=(.*);prefix=(.*);$"
        replacement: "${1}"
        target_label: "__param_bucket"
      - source_labels: [__address__]
        regex: "^bucket=(.*);prefix=(.*);$"
        replacement: "${2}"
        target_label: "__param_prefix"
      - target_label: __address__
        replacement: 127.0.0.1:9340  # S3 exporter地址

服务发现

使用/discovery端点自动发现可访问的桶：

yaml
scrape_configs:
  - job_name: "s3"
    metrics_path: /probe
    http_sd_configs:
      - url: http://127.0.0.1:9340/discovery

通过重标签筛选需要监控的桶：

yaml
scrape_configs:
  - job_name: "s3"
    metrics_path: /probe
    http_sd_configs:
      - url: http://127.0.0.1:9340/discovery
    relabel_configs:
      # 保留以example-开头的桶
      - source_labels: [__param_bucket]
        action: keep
        regex: ^example-.*

为所有桶设置统一前缀：

yaml
scrape_configs:
  - job_name: "s3"
    metrics_path: /probe
    http_sd_configs:
      - url: http://127.0.0.1:9340/discovery
    params:
      prefix: ["thing.txt"]

示例查询

查询最后修改时间超过24小时的对象：

promql
(time() - s3_last_modified_object_date) / 3600 > 24