arkenproject/arken

Arken

镜像概述和主要用途

Arken是一个运行在IPFS（星际文件系统）协议之上的管理引擎，旨在创建分布式文件系统，用于安全备份全球重要数据。它能自动计算网络中哪些重要文件由最少节点托管，优先在本地备份以降低数据丢失风险，同时尊重用户设置的存储限制，删除过度备份（超过集群10%节点存储）的数据。

核心功能和特性

数据管理与平衡

• 智能备份优先级：每个Arken实例会识别网络中托管节点最少的重要文件，优先在本地备份这些高风险数据
• 存储限制尊重：监控本地存储空间使用情况，当达到用户设定的限制时，自动删除由超过10%集群节点存储的过度备份文件

Keyset机制

Keyset是Arken用于透明跟踪网络中重要文件的机制，定义了需要监控和备份的文件。与IPFS集群中的Pinset不同，Keyset是包含文件标识符的纯文本Git仓库，便于审计，让用户明确了解所保存的数据内容。

Keyset构成

• 可包含任意数量的目录用于组织keyset文件
• 必须包含keyset.config YAML配置文件，其中：
  • 灯塔文件标识符：用于统计订阅该keyset的节点总数
  • 复制因子：指定任意时刻应存储文件的网络节点百分比

Keyset工作流程

Keyset本身不包含备份数据，仅记录IPFS文件标识符（CID）。用户通过将文件添加到IPFS并记录其CID到keyset文件，节点会直接从用户处拉取数据到集群。

Keyset安全性

Keyset通过Git仓库公开可用，可轻松审计，且仅能由具有Git仓库访问权限的用户或通过拉取请求进行更改。

社区数据再平衡

Arken实例定期查询IPFS以获取托管特定文件的节点数量，若发现文件低于最优阈值，会用本地过度备份的文件替换高风险文件，实现网络数据平衡。

使用场景和适用范围

数据备份者

• 研究人员/学者：需要长期保存重要研究数据、学术成果
• 博物馆/档案管理员：保护大量重要公共数据、文化遗产
• 个人用户：备份珍贵个人数据（如家庭照片、重要文档）

存储贡献者

• 开发者/技术爱好者：利用家庭服务器的闲置存储空间
• 组织/企业：贡献多余服务器资源支持公共数据保护
• 个人用户：通过旧电脑或服务器提供存储空间，参与分布式备份网络

使用方法和配置说明

前提条件

• Docker环境（推荐）或Go环境（1.16+）
• 足够的存储空间用于数据存储
• 网络连接以参与分布式网络

Docker部署（推荐）

bash
docker run -d --name arken \
 -v STORAGE:/data/storage \  # 数据存储目录
 -v DATABASE:/data/database \  # 数据库目录
 -v REPOSITORIES:/data/repositories \  # Keyset仓库目录
 -v CONFIG:/data/config \  # 配置文件目录
 -e ARKEN_GENERAL_POOLSIZE=2TB \  # 总存储池大小限制
 -e ARKEN_DB_PATH=/data/database/keys.db \  # 数据库文件路径
 -e ARKEN_SOURCES_CONFIG=/data/config/keysets.yaml \  # Keyset配置文件路径
 -e ARKEN_SOURCES_REPOSITORIES=/data/repositories \  # Keyset仓库存储路径
 -e ARKEN_SOURCES_STORAGE=/data/storage \  # 数据存储路径
 --restart=always arkenproject/arken

环境变量说明

Go包部署

bash
go get github.com/arkenproject/arken
go run arken

操作流程

备份重要数据流程

1. 运行Arken导入工具，指向包含重要数据的目录
2. 工具会为数据生成包含IPFS CID的keyset文件
3. 选择以下方式之一：
   • 将keyset上传到自己的Git仓库（适合管理私有节点池）
   • 申请将数据加入核心keyset仓库（适合公共重要数据，默认被社区存储节点使用）
4. 网络节点将直接从您的节点拉取数据并开始备份

贡献存储空间流程

1. 安装Arken程序（Docker或Go方式）
2. 配置愿意贡献的存储空间大小和网络带宽
3. 选择要订阅的keyset（默认包含核心keyset，可添加自定义keyset，如个人照片同步）
4. Arken将在后台运行，自动识别网络中托管节点最少的文件并优先备份到本地节点