hmalphettes/s3-storage-analyser

S3 Storage Analyser镜像说明

镜像概述

S3 Storage Analyser是一款命令行工具，用于展示AWS S3账户中存储的对象信息，并通过/metrics端点向Prometheus暴露提取的指标。工具采用Cloudwatch metrics和S3 API策略，平衡性能与功能需求。

核心功能

1. 命令行分析：输出S3桶的文件数量、大小、区域、创建时间等关键信息
2. Docker部署：支持容器化运行，简化环境配置
3. REST接口：提供带令牌验证的REST端点，返回TSV/JSON格式的分析结果
4. Prometheus集成：暴露存储指标，支持时间序列数据采集与监控

使用场景

• 批量分析S3存储的资源分布（按桶/区域统计文件数量与大小）
• 监控S3存储的变化趋势（通过Prometheus存储历史数据）
• 过滤特定前缀的S3桶，快速定位目标存储资源

配置说明

AWS凭证配置

• 若运行环境已绑定IAM角色，可直接使用工具
• 无IAM角色时，通过环境变量传递凭证：AWS_ACCESS_KEY_ID、AWS_SECRET_ACCESS_KEY

关键参数

• --conc：并发处理的worker数量（默认等于CPU核心数）
• --unit：结果显示单位（支持KB/MB等）
• --prefix：桶名称过滤前缀（如"hm.many*"）

Docker部署示例

基本运行（需环境已配置AWS凭证）

bash
docker run --rm hmalphettes/s3-storage-analyser --unit KB --prefix "hm.many*"

带AWS凭证运行

bash
docker run -e AWS_ACCESS_KEY_ID=your_access_key -e AWS_SECRET_ACCESS_KEY=your_secret_key --rm hmalphettes/s3-storage-analyser --unit MB

启动REST服务

bash
docker run -e TOKEN=your_secret_token --name s3analyser_endpoint -d hmalphettes/s3-storage-analyser server
# 执行Cloudwatch分析任务
docker exec s3analyser_endpoint python3 -m s3_storage_analyser --conc 8
# 执行S3 API批量分析任务
docker exec s3analyser_endpoint python3 -m s3_storage_analyser --raws3 --conc 8

Prometheus集成

工具通过/metrics端点暴露指标，Prometheus可配置采集该端点。示例查询：

• 按区域统计1天前的文件大小（MB）：sum(s3_size_bytes offset 1d) by (region) / 1024 /1024
• 按区域和存储类型统计文件数量：sum(s3_files_total) by (region,storage)

许可证

Public domain（公有领域）