geoint/scale

Scale

镜像概述和主要用途

Scale是一个用于管理集群机器上自动化处理的系统。它允许用户定义作业（可以是任何类型的脚本或算法），这些作业处理摄入的源数据并生成产品文件。生成的产品可分发给相应用户，或用于评估生成算法的性能和准确性。

核心功能和特性

Mesos和节点

Scale运行在联网机器集群（称为节点）上，这些节点处理作业。Scale利用开源项目Apache Mesos管理节点上的可用资源。Mesos向Scale告知可用计算资源，Scale将作业调度到这些资源上运行。

数据摄入（Ingest）

Scale通过名为Strike的组件摄入源文件。Strike是一个监控摄入目录的进程，源数据文件被复制到该目录中。新源数据文件摄入后，Scale根据摄入文件的类型生成作业并放入队列。可同时运行多个Strike进程，使Scale能够监控多个不同的摄入目录。

作业（Jobs）

Scale基于已知作业类型创建作业。作业类型定义Scale运行算法所需的关键特性（如运行命令、算法输入输出等）。作业类型带有版本标签，允许Scale运行同一算法的多个版本。作业可由事件自动创建（如特定类型源数据文件的摄入），或由用户手动创建。需要执行的作业被放入队列并进行优先级排序，然后调度到可用节点上。当多个作业需要按串行或并行顺序运行时，可创建定义作业工作流的流程（recipe）。

产品（Products）

作业成功执行后可生成产品。产品可分发给用户，或用于分析和改进生成它们的算法。Scale允许创建不同的工作区（workspace），工作区定义存储源文件或产品文件的单独位置。创建作业时，会为其分配一个工作区用于存储结果，使用户能够控制作业结果是对更广泛受众可用，还是限制在用户自己的私有工作区中。

依赖项

Scale需要几个外部组件才能按预期运行：

• PostgreSQL：用于存储所有内部系统状态，必须可被调度器和Web服务器进程访问（版本9.4+）
• PostGIS：PostgreSQL的空间扩展（版本2.0+）
• Logstash和Elasticsearch：用于收集和存储所有算法日志（Logstash 2.4，Elasticsearch 2.4）
• 消息代理：用于Scale内部消息的在途存储，必须可被所有系统组件访问（RabbitMQ 3.6+或Amazon SQS）

注意：强烈建议在可用情况下使用托管服务，如PostgreSQL（AWS RDS）、消息代理（AWS SQS）和Elasticsearch（AWS Elasticsearch Service）。除开发环境外，应避免在Docker容器中使用这些服务。有关配置支持服务的更多详细信息，请参考架构文档。

快速入门

虽然Scale可完全在纯Apache Mesos集群上运行，但强烈建议使用数据中心操作系统（DC/OS）。DC/OS为Scale提供服务发现、负载均衡和故障转移，以及适用于几乎所有目标基础设施的部署脚本。此堆栈使Scale用户能够专注于框架的使用，同时最大限度地减少部署和配置的工作量。完整的快速入门指南可在以下位置找到：
https://ngageoint.github.io/scale/quickstart.html

算法开发

Scale旨在允许为特定领域开发工作流和作业，而无需关注集群调度或数据流管理的复杂性。只要处理可通过Linux命令行使用离散输入完成，就可以在Scale中运行。完整处理链的简单示例可在上述快速入门中找到，也可参考深入文档了解Scale集成的分步说明：
https://ngageoint.github.io/scale/docs/algorithm_integration/index.html

Scale开发

如果您想为Scale开源项目贡献代码，我们欢迎您的贡献。Scale有两个主要组件：

• Scale用户界面：https://github.com/ngageoint/scale/tree/master/scale-ui
• 调度器/服务API：https://github.com/ngageoint/scale/tree/master/scale

链接提供了每个组件的特定开发环境设置说明。

构建

Scale使用Travis CI和Docker Hub的组合进行测试和构建。所有单元测试执行和文档生成均通过Travis CI完成。我们要求任何拉取请求在合并前完全通过单元测试检查。Docker Hub构建在发布之间保存为x.x.x-snapshot镜像标签，发布标签则与发布版本匹配。

可使用克隆的Scale仓库中的generate-release.sh shell脚本创建新发布（数字分别指MAJOR、MINOR、PATCH版本）：

bash
./generate-release.sh 4 0 0 

Travis CI和Docker Hub构建之间没有直接连接，但两者均通过推送到GitHub仓库启动。

贡献

Scale由国家地理空间情报局（NGA）开发。拥有“无限权利”，发布此软件是为了通过为开发人员提供新方向的机会来增加的影响。软件的使用、修改和分发权利在Apache 2.0许可中规定。

所有对此项目的拉取请求贡献将根据Apache 2.0或兼容许可发布。先前根据开源许可发布并由NGA staff修改的软件源代码被视为“联合作品”（参见17 USC § 101）；它部分受版权保护，部分属于公共领域，整体受非***作者的版权保护，必须根据原始开源许可的条款发布。