srcd/pga-create

srcd/pga-create镜像说明

镜像概述

srcd/pga-create是用于生成Public Git Archive（公开Git归档）的工具镜像。它通过select-repos、index-repos命令配合https://github.com/src-d/borges%E5%B7%A5%E5%85%B7%EF%BC%8C%E5%AE%9E%E7%8E%B0%E4%BB%93%E5%BA%93%E7%AD%9B%E9%80%89%E3%80%81%E4%B8%8B%E8%BD%BD%E4%B8%8E%E7%B4%A2%E5%BC%95%E7%94%9F%E6%88%90%EF%BC%8C%E6%9C%80%E7%BB%88%E5%88%9B%E5%BB%BA%E5%8C%85%E5%90%AB%E4%BB%93%E5%BA%93%E6%95%B0%E6%8D%AE%E5%92%8C%E7%B4%A2%E5%BC%95%E7%9A%84%E5%BD%92%E6%A1%A3%E3%80%82

核心功能

1. 仓库筛选：通过select-repos命令，根据星数阈值筛选待纳入归档的仓库，生成仓库列表。
2. 索引生成：通过index-repos命令，基于下载的仓库数据生成PGA索引文件。
3. 工具集成：与borges工具配合，完成筛选后仓库的下载。

使用场景

适用于需要构建公开Git仓库归档的场景，如开源数据研究、代码分析数据集构建、Git仓库历史数据存档等。

配置说明

• 环境变量：
  • STARS：筛选仓库的星数阈值（仅select-repos命令使用）。
  • PGA_VERSION：生成的PGA归档版本（仅index-repos命令使用）。
  • BUCKET_SIZE：桶大小，需与borges工具使用的桶大小一致（仅index-repos命令使用）。
• 卷挂载：需挂载/pga卷，用于持久化筛选结果、仓库数据及索引文件。

部署示例

Step1：筛选仓库（select-repos）

sh
docker run --rm --name pga-create_1 \
-v /mymounted/vol:/pga \
-e "STARS=1000" \
srcd/pga-create select-repos

该命令会在挂载卷中生成待下载的仓库列表（/mymounted/vol/data/pga.list）。

Step2：下载仓库（使用borges）

利用borges工具，根据Step1生成的仓库列表下载仓库数据，并确保桶大小与后续步骤一致。

Step3：生成索引（index-repos）

sh
docker run --rm --name pga-create_1 \
-v /mymounted/vol:/pga \
--network host \
-e "PGA_VERSION=v2-test" \
-e "BUCKET_SIZE=2" \
srcd/pga-create index-repos

注意：BUCKET_SIZE需与borges使用的桶大小一致，且挂载卷中需存在/mymounted/vol/root-repositories目录（存放borges下载的仓库数据）。

完成后，挂载卷中会生成索引文件（如index_v2-test.csv）及仓库数据归档。