tparkerusgs/avoviirscollector

概述

这是一个用于在AVO收集VIIRS卫星数据的Docker容器，包含数据下载、任务分发、自动清理等功能。容器工作目录为/viirs，需挂载外部存储（每日约占用36GB空间），并支持按配置保留指定天数的数据。

文件系统

• 所有工作均在/viirs目录完成，需挂载合适的存储卷；
• 数据文件、日志和TLE文件将存放在该目录下；
• 每日自动清理/viirs中超过$VIIRS_RETENTION天的文件，需将需保留的文件移至其他位置。

发布端口

• 29092/tcp：发布成功下载文件的消息；
• 19091/tcp：分发产品创建任务；
• 19191/tcp：发布待处理产品任务队列的消息。

守护进程

supervisord

启动并管理所有其他守护进程，为每个进程生成日志（位于/viirs/log），自身日志用于监控进程稳定性。详情见http://supervisord.org/%E3%80%82

supercronic

执行定时任务（mirror_gina和cleanup），日志记录mirror_gina的输出。详情见https://github.com/aptible/supercronic%E3%80%82

nameserver

PyTroll posttroll项目组件，管理消息主题，帮助task_broker发现运行中的segment_gatherers。详情见https://github.com/pytroll/posttroll%E3%80%82

trollstalker

PyTroll pytroll-collectors项目组件，通过inotify监控新文件下载，触发后续处理（仅支持Linux系统，不支持远程NFS文件写入）。详情见https://github.com/pytroll/pytroll-collectors%E3%80%82

segment_gatherer

PyTroll pytroll-collectors项目组件，监听trollstalker消息，当足够数据可生成产品时发出消息，每个产品对应一个实例。

task_broker

收集segment_gatherer的消息，向viirsprocessors分发产品生成任务，避免重复分配任务（通过消息主题、平台名称、轨道号识别重复）。

msg_publisher

在29092/tcp端口发布内部处理消息（如文件下载成功），消息可通过posttroll.message.Message.decode解析。

定时任务

mirror_gina

根据环境变量参数从GINA NRT检索新文件，日志存于supercronic日志中。

cleanup

每日清理/viirs中超过$VIIRS_RETENTION天的所有文件。

环境变量

通用

• VIIRS_RETENTION：定义文件保留天数，超过则自动清理。

mirror_gina

• NUM_GINA_CONNECTIONS：并行下载的连接数；
• GINA_BACKFILL_DAYS：数据补全的天数范围；
• VIIRS_FACILITY：选择数据来源（UAF或Gilmore Creek）。

日志

• MAILHOST：邮件转发服务器；
• LOG_SENDER：日志邮件发件人地址；
• LOG_RECIPIENT：日志邮件收件人地址。

Docker Compose示例

yaml
viirscollector:
  image: "tparkerusgs/avoviirscollector:release-2.0.2"
  ports:
    - ***:***
    - ***:***
    - 29092:29092
  user: "2001"
  environment:
    - VIIRS_RETENTION=7
    - NUM_GINA_CONNECTIONS=4
    - GINA_BACKFILL_DAYS=2
    - VIIRS_FACILITY=gilmore
    - MAILHOST=smtp.address.com
    - LOG_SENDER=***
    - LOG_RECIPIENT=***
  restart: always
  logging:
    driver: json-file
    options:
      max-size: 10m
  volumes:
    - type: volume
      source: viirs
      target: /viirs
      volume:
        nocopy: true