ukwa/ukwa-manage

UKWA Manage

用于管理英国网络档案馆的工具

概述

UKWA Manage是一套用于管理英国网络档案馆(UK Web Archive)爬取生命周期的工具集，提供TrackDB数据跟踪、HDFS存储操作及CDX/Solr索引管理等核心功能，支持通过Python环境或Docker容器运行，适用于开发和生产环境。

核心功能和特性

• TrackDB管理：直接操作TrackDB数据库，跟踪爬取状态和资源信息
• HDFS存储操作：通过WebHDFS API进行文件上传、下载和列表等操作
• 索引管理：管理CDX和Solr索引，执行索引作业
• 多环境支持：可通过Python虚拟环境或Docker容器运行，满足开发和生产需求
• Luigi任务集成：支持定义和执行Luigi任务，实现工作流自动化

使用场景和适用范围

• UKWA爬取数据的生命周期管理
• HDFS存储中的WARC文件管理和操作
• TrackDB数据库的数据导入、更新和维护
• CDX和Solr索引的创建与管理
• 需要在Hadoop集群环境中运行的爬取相关任务

详细使用方法

环境准备

Python环境设置

注意：Hadoop集群当前运行Python 3.7，因此流式Hadoop任务需使用该版本

bash
# 安装依赖
sudo yum install snappy-devel
sudo pip install virtualenv

# 创建并激活虚拟环境
virtualenv -p python3.7 venv
source venv/bin/activate

# 安装UKWA模块及依赖
pip install --no-cache --upgrade https://github.com/ukwa/hapy/archive/master.zip
pip install --no-cache --upgrade https://github.com/ukwa/python-w3act/archive/master.zip
pip install --no-cache --upgrade https://github.com/ukwa/crawl-streams/archive/master.zip
pip install -r requirements.txt

Docker环境使用

bash
# 构建镜像
docker-compose build tasks

# 运行工具
docker-compose run tasks store -h

工具运行

开发环境运行

bash
export PYTHONPATH=.
python lib/store/cmd.py -h

安装后运行

bash
# 安装工具
python setup.py install

# 运行命令示例
store -h

管理命令详解

trackdb

用于直接操作TrackDB数据库，跟踪爬取过程中的资源状态和元数据。详细说明参见<lib/trackdb/README.md>。

store

通过WebHDFS API与HDFS存储交互，支持文件上传、下载、列表等操作。详细说明参见<lib/store/README.md>。

windex

管理CDX和Solr索引，执行索引作业。与TrackDB交互，并在需要时与HDFS存储通信。详细说明参见<lib/windex/README.md>。

代码与配置

代码结构

• prototype文件夹：包含旧版本代码，可用于复制和更新任务
• lib文件夹：工具定义在其子文件夹中
• tasks文件夹：包含Luigi任务定义

配置说明

当前未包含Luigi配置文件，需使用两个不同文件提供不同级别的集成：

• ingest服务：通过Hadoop命令行拥有HDFS写入权限
• access服务：通过代理的WebHDFS网关拥有有限的只读权限

使用示例：手动处理WARC集合

以下是处理EThOS项目WARC文件的示例流程：

上传WARC文件

bash
#!/bin/bash
for WARC in warcs/*
do
  docker run -i -v /mnt/lr10/warcprox/warcs:/warcs ukwa/ukwa-manage store put ${WARC} /1_data/ethos/${WARC}
done

列出文件

bash
# 获取文件ID列表
docker run -i ukwa/ukwa-manage store list -I /1_data/ethos/warcs > ethos-warcs.ids

# 获取JSONL格式文件信息
docker run -i ukwa/ukwa-manage store list -j /1_data/ethos/warcs > ethos-warcs.jsonl

导入TrackDB

bash
# 将JSONL格式数据导入TrackDB（默认使用DEV TrackDB）
cat ethos-warcs.jsonl | docker run -i ukwa/ukwa-manage trackdb files import -

更新文件属性

bash
# 设置文件流属性
cat ethos-warcs.ids | trackdb files update --set stream_s ethos -

# 设置文件类型属性
cat ethos-warcs.ids | trackdb files update --set kind_s warcs -

Heritrix术语

队列状态

详情参见队列状态

队列优先级说明

队列优先级由优先级提供程序确定，通常基于最后爬取的URI。注意：优先级值越低表示"优先级越高"。

优先级用于确定哪些队列从非活动状态优先转为活动状态。当队列优先级超过"floor"值（默认255）时，队列被视为不合格，将不再继续爬取。

这里的术语容易混淆："floor"指最低优先级，但实际上是允许的最高整数值。

在实践中，除非使用特殊的优先级策略或调整优先级floor值，否则通常不会遇到不合格情况。

一种应用场景是：优先级策略随着遇到越来越多"低质量"URL而逐渐降低（累积地）优先级。但目前尚无已知案例采用这种方式。