tchoupinax/s3-prometheus-exporter

S3 Exporter for Prometheus

镜像概述

S3 Exporter是一个轻量级、可配置的指标导出工具，专为Prometheus设计，用于从S3存储服务收集并暴露指标数据。其核心功能是监控S3存储桶中的对象状态，特别适用于跟踪备份相关指标，帮助用户通过Prometheus实现对备份完整性、大小、更新时间等关键信息的可视化与告警。

核心功能与特性

• 灵活配置：支持通过环境变量或配置文件自定义S3连接参数（如访问密钥、桶名称、区域等），适配不同S3环境。
• 备份指标收集：可采集多种备份相关指标，包括对象数量、总大小、平均大小、最后修改时间、版本数量（若启用版本控制）等。
• Prometheus兼容：暴露标准Prometheus格式指标端点，可直接被Prometheus抓取并集成到监控系统。
• 轻量级设计：镜像体积小巧，资源占用低，适合在容器化环境中部署。
• 对象过滤：支持按前缀、标签等条件筛选监控对象，聚焦关键备份数据。

使用场景与适用范围

• 备份状态监控：适用于需要跟踪S3中备份文件状态的场景，如检查备份是否按时生成、大小是否异常、是否存在损坏等。
• S3存储监控：帮助管理员监控特定S3桶的存储使用趋势，及时发现存储增长异常。
• 自动化运维：与Prometheus Alertmanager联动，可实现备份失败、延迟等异常的自动告警，提升运维响应效率。

使用方法与配置说明

基本部署（Docker Run）

通过以下命令快速启动容器：

bash
docker run -d \
  --name s3-exporter \
  -p 9340:9340 \
  -e AWS_ACCESS_KEY_ID="your_aws_access_key" \
  -e AWS_SECRET_ACCESS_KEY="your_aws_secret_key" \
  -e S3_BUCKET="your-backup-bucket" \
  -e REGION="us-east-1" \
  -e SCRAPE_INTERVAL="60" \  # 指标收集间隔（秒），默认60
  s3-exporter:latest

Docker Compose配置

创建docker-compose.yml文件：

yaml
version: '3'
services:
  s3-exporter:
    image: docker.xuanyuan.run/s3-exporter:latest
    container_name: s3-exporter
    ports:
      - "9340:9340"
    environment:
      - AWS_ACCESS_KEY_ID=your_aws_access_key
      - AWS_SECRET_ACCESS_KEY=your_aws_secret_key
      - S3_BUCKET=your-backup-bucket
      - REGION=us-east-1
      - SCRAPE_INTERVAL=60
      - OBJECT_PREFIX=backups/  # 可选，仅监控前缀为"backups/"的对象
      - PORT=9340  # 服务监听端口，默认9340
    restart: unless-stopped

启动服务：

bash
docker-compose up -d

配置参数说明

验证与Prometheus集成

1. 验证指标：服务启动后，访问http://<容器IP>:9340/metrics查看指标，示例：

   s3_object_count{bucket="your-backup-bucket",prefix="backups/"} 42
   s3_total_size_bytes{bucket="your-backup-bucket",prefix="backups/"} 1073741824
   

2. Prometheus配置：在prometheus.yml中添加抓取任务：

   yaml
   scrape_configs:
     - job_name: 's3-exporter'
       static_configs:
         - targets: ['s3-exporter:9340']  # 容器名或IP:端口
   

注意事项

• 确保AWS访问密钥具有s3:ListBucket、s3:GetObject等权限以读取S3桶信息。
• 大规模桶建议调大SCRAPE_INTERVAL，避免频繁请求影响性能。
• 非AWS S3服务（如MinIO）需通过ENDPOINT_URL指定自定义端点，并配置SSL_ENABLED。