geoint/landsat-parse

Scale

Scale是一个在机器集群上管理自动化处理任务的系统，允许用户定义任意类型的脚本或算法作为作业，对摄入的源数据进行处理并生成产品文件。生成的产品可分发给相关用户，或用于评估算法的性能与准确性。

Mesos和节点

Scale运行在联网机器集群（称为节点）上处理作业，利用开源项目Apache Mesos管理节点的可用资源。Mesos向Scale告知可用计算资源，Scale则将作业调度到这些资源上执行。

Ingest

Scale通过名为Strike的组件摄入源文件。Strike是一个监控摄入目录的进程，当新源数据文件被复制到目录后，Scale会根据文件类型生成作业并放入队列。可同时运行多个Strike进程，监控多个不同的摄入目录。

Jobs

Scale基于已知的作业类型创建作业。作业类型定义了算法的关键特征（如运行命令、输入输出等），并带有版本标签，支持同一算法的多版本运行。作业可由事件自动触发（如特定源文件摄入）或由用户手动创建。待执行的作业会被放入队列并排序，再调度到可用节点。若需按串行或并行顺序运行多个作业，可创建定义工作流的Recipe。

Products

作业成功执行可生成产品，这些产品可分发给用户或用于分析改进算法。Scale支持创建不同工作空间，每个工作空间定义源文件或产品文件的独立存储位置。创建作业时会指定工作空间，用户可控制结果是否公开或仅限私有使用。

Scale依赖

Scale需要多个外部组件支持运行：

• PostgreSQL 9.4+（存储系统状态，需供调度器和Web服务器访问）
• Elasticsearch 6.6.2 + Fluentd 1.4（收集和存储算法日志）
• 消息代理（RabbitMQ 3.6+或Amazon SQS，存储内部消息）
• PostGIS 2.0+

注意：强烈建议使用托管服务（如AWS RDS的PostgreSQL、AWS SQS的消息服务、AWS Elasticsearch Service），仅在开发环境中考虑使用Docker容器部署这些服务。

快速开始

Scale可在纯Apache Mesos集群运行，但强烈推荐使用DC/OS（数据中心操作系统），它为Scale提供服务发现、负载均衡和故障转移，以及多种基础设施的部署脚本。完整快速开始指南见：https://ngageoint.github.io/scale/quickstart.html

算法开发

Scale允许开发领域相关的Recipe和作业，无需关注集群调度或数据流管理的复杂性。只要处理可通过Linux命令行的离散输入完成，即可在Scale中运行。可参考快速开始中的示例或深入文档：https://ngageoint.github.io/scale/docs/algorithm_integration/index.html

Scale开发

若需贡献Scale开源项目，主要组件包括：

• Scale UI：https://github.com/ngageoint/scale/tree/master/scale-ui
• 调度器/服务API：https://github.com/ngageoint/scale/tree/master/scale

各组件链接提供了开发环境设置说明。

构建

Scale通过Travis CI和Docker Hub测试与构建：

• Travis CI执行单元测试和文档生成，PR需通过所有单元测试才能合并。
• Docker Hub构建在版本间保存为x.x.x-snapshot标签，发布时匹配版本标签。

发布新版本可使用generate-release.sh脚本（MAJOR MINOR PATCH为版本号）：

bash
./generate-release.sh 4 0 0

贡献

Scale由美国国家地理空间情报局（NGA）开发，按Apache 2.0许可证发布。所有PR贡献将按Apache 2.0或兼容许可证发布。原开源代码经NGA修改后视为"联合作品"，需按原开源许可证条款发布。