measurementlab/pusher

pusher

https://godoc.org/github.com/m-lab/pusher?status.svg](https://godoc.org/github.com/m-lab/pusher) 

镜像概述和主要用途

pusher是一个数据推送服务，用于将节点数据上传至云存储。它设计为部署在M-Lab平台上的实验的边车（sidecar）服务，实验将数据写入特定目录后，该服务会监控该目录并自动对数据文件进行打包、压缩和上传处理。

核心功能和特性

• 目录监控：持续监控指定目录，检测新生成或修改的数据文件
• 数据处理：自动对监控目录中的数据进行tar打包和压缩
• 云存储集成：支持将处理后的文件上传至Google Cloud Storage
• 边车架构：作为独立服务运行，与主实验服务解耦，不干扰实验核心流程

使用场景和适用范围

适用于部署在M-Lab平台的各类网络测量实验，特别适合需要将实验产生的原始数据进行自动化归档和远程存储的场景。任何需要持续收集、处理并上传数据到云存储的M-Lab实验均可采用此服务。

使用方法和配置说明

镜像获取

可从Docker Hub获取官方镜像：

bash
docker pull measurementlab/pusher

基本部署示例

Docker Run 命令

bash
docker run -d \
  --name pusher-service \
  -v /path/to/experiment/data:/data \  # 挂载实验数据目录（必选）
  -e GCS_BUCKET=your-bucket-name \     # Google Cloud Storage存储桶名称（必选）
  -e GCS_KEY_FILE=/etc/gcs/key.json \  # GCS认证密钥文件路径（容器内路径，必选）
  -v /local/path/to/key.json:/etc/gcs/key.json \  # 挂载GCS认证密钥（必选）
  measurementlab/pusher

Docker Compose 配置示例

yaml
version: '3'
services:
  pusher:
    image: measurementlab/pusher
    volumes:
      - /experiment/data:/data
      - ./gcs-key.json:/etc/gcs/key.json
    environment:
      - GCS_BUCKET=mlab-experiment-archive
      - GCS_KEY_FILE=/etc/gcs/key.json
    restart: always

核心配置参数

注意事项

1. 确保挂载的实验数据目录具有读写权限，以便pusher能够监控和处理文件
2. GCS服务账号密钥需要具备目标存储桶的对象创建和写入权限
3. 目前仅支持Google Cloud Storage作为目标存储服务
4. 数据文件处理完成后会被自动归档，不会删除原始文件