ukwa/bamboo

Bamboo

镜像概述和主要用途

Bamboo是澳大利亚国家图书馆(NLA)的网络归档集合管理工具，用于跟踪网络归档集合、管理索引及计算统计数据。目前可用于基本的集合管理，但部分功能尚未完成或完善。

核心功能和特性

• 跟踪网络归档集合信息
• 管理索引过程
• 计算统计数据
• 支持H2或MySQL数据库存储目录、统计和索引进度
• 与Heritrix爬虫工具集成
• 可选与NLA的遗留PANDAS 3集合管理系统集成
• 监控目录以检测新创建或更新的WARC文件

使用场景和适用范围

适用于需要管理网络归档集合的场景，特别是与Heritrix、warcprox等工具配合使用，需要跟踪WARC文件、管理索引和统计数据的环境。适合网络归档管理员、数字保存机构使用。

详细使用方法和配置说明

配置

SQL数据库

Bamboo使用H2或MySQL数据库存储爬取目录、统计数据和索引进度，可通过以下环境变量配置：

BAMBOO_DB_URL=jdbc:h2:mem:bamboo  # 数据库URL，支持H2或MySQL
BAMBOO_DB_USER=bamboo             # 数据库用户名
BAMBOO_DB_PASSWORD=bamboo         # 数据库密码

Heritrix集成

以下环境变量用于配置Bamboo查找Heritrix任务的位置：

HERITRIX_JOBS=/heritrix/jobs      # Heritrix任务目录
HERITRIX_URLS=https://127.0.0.1:8443  # Heritrix服务URL

PANDAS集成

Bamboo提供与澳大利亚国家图书馆遗留PANDAS 3集合管理系统的可选有限集成。需通过mvn -Ppandas构建启用，并设置以下环境变量：

PANDAS_DB_URL=                    # PANDAS数据库URL
PANDAS_DB_USER=                   # PANDAS数据库用户名
PANDAS_DB_PASSWORD=               # PANDAS数据库密码

监控WARC文件目录

Bamboo可配置监控目录，以检测新创建或更新的WARC文件（遵循Heritrix、warcprox等工具使用的*.warc.gz.open命名约定）。通过以下环境变量配置：

BAMBOO_WATCH=<crawl-id1>:<dir1>,<crawl-id2>:<dir2>,...  # 格式：爬取ID:目录路径，多个以逗号分隔

示例：

BAMBOO_WATCH=42:/tmp/crawler/warcs  # 监控ID为42的爬取对应的/tmp/crawler/warcs目录

Bamboo将监控新创建的*.warc.gz.open文件，在添加新记录时进行索引，当文件重命名为*.warc.gz后，将WARC移动到爬取42的归档目录。

Docker部署示例

使用docker run命令

bash
docker run -d \
  -e BAMBOO_DB_URL=jdbc:mysql://mysql-host:3306/bamboo \
  -e BAMBOO_DB_USER=dbuser \
  -e BAMBOO_DB_PASSWORD=dbpass \
  -e HERITRIX_JOBS=/heritrix/jobs \
  -e HERITRIX_URLS=[***] \
  -e BAMBOO_WATCH=42:/warcs \
  -v /host/warcs:/warcs \
  -v /host/heritrix/jobs:/heritrix/jobs \
  --name bamboo \
  nla/bamboo