用于浏览内部数据存储的用户界面，通过整合多个Solr集合，提供对各类内部系统状态的监控与查看功能，基于Apache Solr后端和Blacklight前端构建。

UKWA定制版pywb，包含UKWA专用代码和配置的Web归档访问系统，扩展了官方pywb镜像功能。

UK Web Archive的集合前端Docker部署，提供Web存档的用户界面，支持通过Docker Compose集成Solr服务进行本地开发和部署。

暂无描述

用于管理英国网络档案馆(UKWA)爬取生命周期的工具集，提供TrackDB管理、HDFS存储操作及CDX/Solr索引管理等核心功能。

用于发现和交互访问UKWA内容的API服务。

暂无描述

一个基于Golang的Prometheus导出器，用于监控UptimeRobot的监控项。

基于Jupyter笔记本的内部报告应用程序，通过Voila运行。

一个独立的Web服务，用于检索和过滤存储在Kafka主题中的爬取日志流，支持通过Web界面查看和筛选日志条目。

ClamD in a docker container.

基于Google Puppeteer的网页渲染工具，类似于webrender-phantomjs，用于自动化网页内容渲染及相关功能实现。

用于网络档案的WWW注释和管理工具，支持网络资源的注释、管理及相关元数据处理，适用于网络档案的整理与保存工作。

基于Heritrix3构建的Docker镜像，集成UK网络档案馆(UKWA)特定代码和配置，用于运行可扩展网络爬虫，支持病毒扫描、浏览器渲染、URL去重及Kafka消息队列等功能，适用于大规模网络内容归档。

该镜像为英国网络档案馆（UKWA）的收藏内容提供Solr搜索支持的UI组件，原属ukwa仓库，现已独立以便管理。

当前生产环境使用的Heritrix的Docker化构建

Heritrix 3网络爬虫的监控/分析前端，基于ELK构建，提供两个原型（专用Web应用和Kibana版本），主要用于解析、存储Heritrix日志并实现可视化分析，目前逐步转向Kibana版本。

暂无描述

暂无描述

用于数据挖掘和索引ARC及WARC文件，以实现其内容可探索与发现的组件。

Docker化的Solr版本，包含基于webarchive-discovery模式的核心，用于数据挖掘和索引ARC/WARC文件，实现内容的可探索和可发现。

基于Solr后端的原型Web档案探索UI，使用warc-discovery索引器构建，提供Web档案搜索与探索功能。

在Docker容器中运行pdf2htmlEX的Python Web服务，用于通过URL将PDF文件转换为HTML格式。

暂无描述

用于处理爬虫活动相关事件流的工具，可根据爬取规范启动爬取任务，支持调度、种子配置等功能，适用于爬虫事件流的管理与操作。

使用PhantomJS渲染URL的Web服务，用于网络爬虫过程中提取链接，并可配合warcprox将渲染结果存储为WARC记录。

构建包含所有OpenWayback版本的容器，通过WAR Overlay方式叠加定制化修改，实现不同用途的Web归档回溯服务，包括UKWA开放服务、QA测试环境及LDL阅览室专用版本。

一个独立的网页渲染服务，提供RESTful API，用于爬取期间渲染实时网页（需配合warcprox确保资源打包为WARC记录）及爬取后处理存档网页，支持比较前后结果、生成截图和缩略图。

在Heritrix3爬取过程中协调从网页提取嵌入URL的守护进程。

一个支持横向扩展的网络归档代理解决方案，通过负载均衡器将请求路由到多个warcprox实例，确保相同URL始终由同一实例处理，实现高效去重，适用于大规模网络爬取和归档。

用于将WARC文件请求路由到正确文件的简单服务

包含一些额外依赖的Apache Airflow容器，便于快速部署和使用工作流管理与任务调度功能。

用于浏览多个网络档案中Memento的用户界面。

该Docker镜像用于运行基于RocksDB引擎的tinycdxserver CDX服务器，支持读写操作，可通过简单部署提供CDX服务状态查看与使用。

Shepherd是英国网络档案馆(UK Web Archive)的爬虫编排引擎，用于协调服务、管理爬取工作流、提供命令行工具及监控，支持从爬取启动到数据归档的全流程自动化与模块化架构。

一个用于爬虫测试的简单网站，通过Jekyll渲染和提供服务。

暂无描述

Docker容器中运行的Hadoop客户端，启用HttpFS，适合从容器环境执行Hadoop任务。

Web档案的酸性测试套件，通过Docker化方式提供测试资源服务器和预期结果，用于验证网络爬虫（如Heritrix3）在各类请求、响应及服务器行为场景下的爬取行为与输出内容。

用于与w3act服务交互的Python包，封装常见操作，专注于从W3ACT提取数据，提供命令行工具处理PostgreSQL数据库CSV文件并生成衍生数据，支持Docker容器部署。

一个用React JavaScript编写的实验性分面浏览器

Trifecta Docker container build

pywb是一个Python web归档工具包，用于准确重放各类web档案并创建高保真归档，具备动态多集合配置、录制功能、组件化架构及Memento API支持，是Webrecorder项目基础及通用web归档解决方案。

暂无描述

一个Prometheus指标导出器，用于从Heritrix3服务器暴露关键爬虫指标，支持监控爬虫状态、性能和资源使用情况。

用于UKWA的Robot Framework执行环境，提供Docker化的自动化测试和任务执行环境。

略微修改的HttpFS服务Docker容器，提供HDFS的REST HTTP网关，支持完整文件系统读写，可用于跨版本Hadoop集群数据传输、防火墙后HDFS访问及通过HTTP工具/非Java语言访问HDFS。

作为Docker容器的实验性Dat托管服务

用于compmodels的JupyterHub Docker镜像，提供内部JupyterHub设置的原型。

暂无描述

暂无描述

将网络爬虫工具Brozzler封装在Docker容器中的镜像，便于快速部署和使用，无需手动配置复杂依赖环境。

Docker容器中的Warclight实例，适用于研讨会和演示。

抓取DFS健康页面数据并导出至Prometheus，适用于早期Hadoop版本(0.20.x)的HDFS监控。

A squid setup suitable for scaling out warcprox.

暂无描述

Heritrix3 API操作的Python命令行客户端的Docker化版本，支持通过命令行或脚本自动化管理Heritrix爬虫任务，如创建、构建、启动、暂停和监控作业等操作。

Docker化的OpenWayback，旨在与ukwa/tinycdxserver配合使用。

暂无描述

NLA网络归档集合管理器Docker镜像，用于跟踪网络归档集合、管理索引及计算统计数据，支持基本的集合管理功能。

GROBID（书目数据生成）工具的Docker容器化版本，用于将（学术）PDF转换为结构化TEI格式，以提升自动提取的文档元数据质量。

包含Solr支持的Docker化Apache Superset，用于数据可视化和探索分析的开源BI工具。

这是一个配置用于保存Collections和Targets的Solr实例，是UKWA网站更新的初始原型。

暂无描述

容器化的HBase，适用于集成测试等场景

暂无描述

SourceFuse Backstage Repository

暂无描述

为UKWA研究部署的Apache Zeppelin Docker镜像，支持交互式数据分析和Spark集群模式，可持久化存储笔记本。

暂无描述

暂无描述

暂无描述

暂无描述

Docker封装的WASAPI客户端，用于与Archive-It WASAPI数据传输API交互，支持下载WARC文件、生成校验和清单、查询文件信息及多进程下载，简化网络存档数据获取流程。

基于RocksDB的网络档案捕获索引（CDX）服务器，支持OpenWayback（XML）和PyWb（JSON）协议，提供实时增量更新、压缩索引及主从复制功能，适用于大规模网络档案索引管理，已在澳大利亚国家图书馆和大英图书馆生产环境中处理80-90亿条记录。

暂无描述

暂无描述

暂无描述

暂无描述