rickspencer3/ricks-downsampler

ricks-downsampler 镜像文档

概述

ricks-downsampler是一个用于自动化InfluxDB 3.0数据库下采样的工具，可实现从一个InfluxDB 3.0数据库到另一个数据库的数据降采样处理。该项目处于活跃开发中，目前已具备核心功能，适用于需要优化时序数据存储和查询性能的场景。

核心功能与特性

• 跨实例支持：可从InfluxDB Cloud Serverless或Cloud Dedicated的任意数据库下采样到其他Serverless、Dedicated实例，也支持同一实例内下采样
• 灵活分组配置：默认按所有系列和标签分组，用户可指定自定义标签列表进行分组
• 时间间隔控制：支持分钟、小时或天级别的下采样间隔，并自动对齐至相应时间边界（如分钟级间隔对齐至整点分钟）
• 日志集成：支持将运行日志记录到InfluxDB数据库
• 历史数据回填：支持对历史数据进行批量下采样处理

使用场景

• 时序数据存储优化：通过降低数据采样频率减少存储占用
• 长期数据归档：保留高粒度原始数据的同时，生成低粒度摘要数据用于长期分析
• 跨实例数据同步：在不同InfluxDB实例间同步并降采样数据
• 历史数据处理：对已有历史数据进行批量下采样，统一数据粒度

使用方法

前置要求

• 拥有InfluxDB 3.0实例（Cloud Serverless或Dedicated）
• 具备源数据库的读取权限和目标数据库的写入权限
• 已安装Docker环境

环境变量说明

运行模式

1. 守护进程模式（Daemon mode）

在此模式下，下采样工具将按指定间隔持续运行。适用于实时或近实时数据下采样场景。

示例命令：

bash
docker run \
  -e RUN_INTERVAL=1m \
  -e SOURCE_HOST=your-source-host \
  -e SOURCE_DB=your-source-database \
  -e SOURCE_MEASUREMENT=your-source-measurement \
  -e SOURCE_TOKEN=a-token-that-can-read-from-the-source \
  -e TARGET_DB=name-of-database-to-save-downsample-data \
  -e TARGET_MEASUREMENT=measurement-name-for-down-sampled-data \
  -e TARGET_TOKEN=token-that-can-write-to-target \
  rickspencer3/ricks-downsampler

2. 回填模式（Backfill mode）

在此模式下，工具将从指定的起始时间开始，按间隔进行历史数据下采样，到达结束时间或容器启动时间后退出。适用于对历史数据进行批量处理。

示例命令：

bash
docker run \
  -e BACKFILL_START="2023-07-28T00:00:00-4:00" \
  -e BACKFILL_END="2023-07-28T00:20:00-4:00" \
  -e RUN_INTERVAL=1m \
  -e SOURCE_HOST=your-source-host \
  -e SOURCE_DB=your-source-database \
  -e SOURCE_MEASUREMENT=your-source-measurement \
  -e SOURCE_TOKEN=a-token-that-can-read-from-the-source \
  -e TARGET_DB=name-of-database-to-save-downsample-data \
  -e TARGET_MEASUREMENT=measurement-name-for-down-sampled-data \
  -e TARGET_TOKEN=token-that-can-write-to-target \
  rickspencer3/ricks-downsampler

开发与配置

项目开发跟踪、问题反馈及完整配置选项，请参见 https://github.com/InfluxCommunity/ricks-downsampler%E3%80%82