hugegraph/hugegraph-computer

Apache HugeGraph-Computer 镜像文档

镜像概述

Apache HugeGraph-Computer是一个为HugeGraph设计的分布式图处理系统，基于Pregel模型实现，可运行在Kubernetes或YARN框架上，提供高效的分布式图计算能力。该系统旨在处理大规模图数据，支持多种数据输入/输出源，并简化图算法的开发过程。

核心功能与特性

• 分布式MPP图计算：支持分布式大规模并行处理（MPP）图计算，与HugeGraph深度集成，可直接将HugeGraph作为图数据的输入和输出存储。
• BSP计算模型：基于Bulk Synchronous Parallel（BSP）模型，算法通过多轮并行迭代（超步，superstep）执行计算，每轮迭代包含计算、通信和同步三个阶段。
• 自动内存管理：具备智能内存管理机制，当内存不足时自动将部分数据写入磁盘，有效避免OOM（内存溢出）问题。
• 数据可靠性保障：边数据及超级节点（拥有大量连接的节点）的消息可保存在内存中，确保关键数据不丢失。
• 多数据源支持：支持从HDFS或HugeGraph加载数据，将计算结果输出到HDFS或HugeGraph，同时允许手动适配其他数据存储系统。
• 简化算法开发：算法开发者只需关注单个顶点的处理逻辑，无需关心底层的消息传递、内存分配及存储管理，降低开发门槛。

使用场景与适用范围

Apache HugeGraph-Computer适用于以下场景：

• 大规模图数据的离线分析与计算（如社交网络关系分析、推荐系统图计算等）。
• 图算法执行，如PageRank、最短路径、社区发现、中心性分析等。
• 需要分布式并行处理能力的图计算任务，尤其适合与HugeGraph生态集成的用户。
• 企业级海量图数据处理，科研机构的图算法研究与验证。

使用方法与配置说明

前提条件

• 已安装Docker环境
• 已部署Kubernetes或YARN集群（根据运行框架选择）
• 已部署HugeGraph服务（如需使用HugeGraph作为数据输入/输出源）

镜像拉取

bash
docker pull hugegraph/hugegraph-computer

基本使用方式

该镜像主要用于在Kubernetes或YARN集群上部署HugeGraph-Computer作业。具体部署步骤及配置参数请参考官方文档：

• HugeGraph-Computer官方文档

配置参数

HugeGraph-Computer的配置主要通过配置文件（如computer.yaml）进行，关键配置项包括：

• job.name：作业名称
• input.format：输入数据格式（如hugegraph或hdfs）
• output.format：输出数据格式（如hugegraph或hdfs）
• worker.count：工作节点数量
• superstep.max：最大超步数量

详细配置说明请参见项目配置指南。

相关资源

• 项目主页：[***]
• GitHub仓库：https://github.com/apache/hugegraph-computer
• 其他相关仓库：
  • https://github.com/apache/hugegraph%EF%BC%88%E5%9B%BE%E6%A0%B8%E5%BF%83%E7%BB%84%E4%BB%B6 - OLTP服务器）
  • https://github.com/apache/hugegraph-toolchain%EF%BC%88%E5%8C%85%E5%90%AB%E5%8A%A0%E8%BD%BD%E5%99%A8/%E6%8E%A7%E5%88%B6%E5%8F%B0/%E5%B7%A5%E5%85%B7/%E5%AE%A2%E6%88%B7%E7%AB%AF%EF%BC%89
  • https://github.com/apache/hugegraph-commons%EF%BC%88%E5%8C%85%E5%90%AB%E5%85%AC%E5%85%B1%E5%8F%8ARPC%E6%A8%A1%E5%9D%97%EF%BC%89
  • https://github.com/apache/hugegraph-doc%EF%BC%88%E5%8C%85%E5%90%AB%E6%96%87%E6%A1%A3%E5%8F%8A%E7%BD%91%E7%AB%99%E4%BB%A3%E7%A0%81%EF%BC%89

贡献指南

欢迎参与贡献，详情请参见https://github.com/apache/hugegraph/blob/master/CONTRIBUTING.md%E3%80%82

建议使用https://desktop.github.com/%E7%AE%80%E5%8C%96PR%E5%92%8C%E6%8F%90%E4%BA%A4%E8%BF%87%E7%A8%8B%E3%80%82

许可协议

Apache HugeGraph-Computer采用Apache 2.0许可协议，详情参见LICENSE。