axiom/ncreplayer

ncreplayer

这是一个轻量工具，用于加载CF DSG合规的netCDF文件，并以batch（批量）或stream（流）模式将数据回放至Kafka主题。支持多种数据序列化格式，可通过配置参数控制原始文件中的时间戳和时间间隔。

核心功能

• 支持batch和stream两种回放模式
• 提供json、avro、msgpack三种数据序列化选项
• 可调整数据的起始时间、时间因子和偏移量
• 可选包含nco-json元数据到每条消息中
• 支持通过环境变量配置所有参数

使用场景

• 以不同时间间隔回放netCDF文件中的数据
• 快速搭建数据流用于负载测试
• 将依赖静态文件的系统部分迁移至流处理
• 接收协作方的标准化netCDF/CF/DSG数据并流转至大型系统

配置说明

该工具使用Click实现CLI接口，主要参数如下：

基础参数

sh
ncreplay [OPTIONS] COMMAND [ARGS]...
Options:
  --filename PATH                netCDF文件路径（必填）
  --brokers TEXT                 Kafka broker字符串（逗号分隔，必填）
  --topic TEXT                   目标Kafka主题（必填）
  --packing [json|avro|msgpack]  数据序列化方式（默认json）
  --registry TEXT                Avro序列化时的Schema Registry URL
  --uid TEXT                     uid字段的变量名、全局属性或值
  --gid TEXT                     gid字段的变量名、全局属性或值
  --meta / --no-meta             是否包含nco-json元数据
  --help                         显示帮助信息

子命令：batch

批量处理netCDF文件，每处理[chunk]条记录暂停[delta]秒，可调整时间参数：

sh
ncreplay batch [OPTIONS]
Options:
  -s, --starting <时间格式>       起始时间（支持%Y-%m-%d等格式）
  -f, --factor FLOAT             时间因子
  -o, --offset FLOAT             时间偏移量
  -d, --delta FLOAT              每批处理后的暂停时间（秒）
  -c, --chunk INTEGER            每批处理的记录数

子命令：stream

按[delta]秒间隔流式回放每条唯一时间步的数据：

sh
ncreplay stream [OPTIONS]
Options:
  -s, --starting <时间格式>       起始时间
  -f, --factor FLOAT             时间因子
  -o, --offset FLOAT             时间偏移量
  -d, --delta FLOAT              每条记录的间隔时间（秒）

环境变量配置

所有参数可通过环境变量设置，格式为NCREPLAY_[参数名]，子命令参数需加BATCH_或STREAM_前缀，例如：

bash
NCREPLAY_FILENAME=/foo.nc \
NCREPLAY_BROKERS=localhost:4001 \
NCREPLAY_PACKING=msgpack \
ncreplay batch

Docker部署示例

启动测试Kafka环境

bash
docker run -d --net=host \
  -e ZK_PORT=50000 \
  -e BROKER_PORT=4001 \
  -e REGISTRY_PORT=4002 \
  -e REST_PORT=4003 \
  -e CONNECT_PORT=4004 \
  -e WEB_PORT=4005 \
  -e RUNTESTS=0 \
  -e DISABLE=elastic,hbase \
  -e DISABLE_JMX=1 \
  -e FORWARDLOGS=0 \
  -e SAMPLEDATA=0 \
  --name ncreplayer-testing \
landoop/fast-data-dev:1.0.1

启动Kafka消费者

bash
docker run -it --rm --net=host \
landoop/fast-data-dev:1.0.1 \
  kafka-console-consumer \
    --bootstrap-server localhost:4001 \
    --topic axds-ncreplayer-data

批量回放数据

bash
ncreplay --filename tests/data/gda_example.nc batch -d 10 -c 10

流式回放数据

bash
ncreplay --filename tests/data/gda_example.nc stream -d 10