ukwa/webarchive-discovery

Web Archive Discovery

1. 镜像概述和主要用途

Web Archive Discovery 是用于对 ARC 和 WARC 文件进行数据挖掘与索引的组件集合，旨在使存档内容可探索和发现。通过该工具，用户可对 Web 存档文件（ARC/WARC）进行处理，构建可检索的索引，支持内容的高效查询与分析。

2. 核心功能和特性

• ARC/WARC 文件处理：支持对 ARC 和 WARC 格式的 Web 存档文件进行数据提取与索引。
• 搜索引擎集成：兼容 OpenSearch 及 Elasticsearch 7.10.2（需少量修改可适配旧版本），实现存档内容的结构化索引。
• 灵活索引模式：提供预定义的索引模式（schema.json），支持自定义字段扩展。
• 数据挖掘支持：通过索引内容支持对 Web 存档的深度探索与分析。

3. 使用场景和适用范围

• 网络档案馆：用于管理和检索大规模 Web 存档资源。
• 数字保存机构：对 ARC/WARC 格式存档文件进行结构化索引，提升内容可访问性。
• Web 历史研究：支持研究者对历史 Web 内容进行高效查询与数据分析。

4. 快速开始

4.1 运行开发环境 OpenSearch 服务器

该工具依赖 OpenSearch 集群存储索引数据，可通过以下步骤启动开发环境的 OpenSearch 服务：

4.1.1 启动容器

bash
# 进入 docker-compose 配置目录
cd warc-indexer/src/main/opensearch/os1

# 启动 OpenSearch 集群（后台运行）
docker-compose up -d

4.1.2 初始化索引

索引创建需通过 HTTP 请求执行，使用预定义的 schema.json 定义索引结构：

bash
# 创建索引（--insecure 用于跳过 SSL 证书验证，适用于开发环境）
curl --insecure --user admin:admin -H 'Content-Type: application/json' -XPUT https://localhost:9200/warcdiscovery/ -d @schema.json

# 删除索引（如需重新初始化）
curl --insecure --user admin:admin -XDELETE https://localhost:9200/warcdiscovery

参数说明：

• --user admin:admin：OpenSearch 默认管理员凭据（开发环境）。
• https://localhost:9200/warcdiscovery/：索引 URL，warcdiscovery 为索引名称。
• schema.json：索引结构定义文件，位于当前执行目录。

5. 详细使用方法

5.1 索引 WARC 文件

通过 warc-indexer 工具将 WARC 文件内容索引至 OpenSearch，命令格式如下：

bash
java -jar target/warc-indexer-*-jar-with-dependencies.jar \
  -e https://localhost:9200/warcdiscovery/ \
  --user admin \
  --password admin \
  src/test/resources/wikipedia-mona-lisa/flashfrozen-jwat-recompressed.warc.gz

参数说明：

• -e：指定 OpenSearch 索引 URL（需包含索引名称 warcdiscovery）。
• --user/--password：OpenSearch 认证凭据。
• 最后一个参数：待索引的 WARC 文件路径（支持 .warc.gz 压缩格式）。

5.2 Solr 模式移植至 OpenSearch 的差异说明

索引模式（schema）从 Solr 移植至 OpenSearch 时存在以下差异：

• index_time 字段的默认值 "NOW" 由 warc-indexer 在索引时设置。
• content_type_norm 字段的默认值 "other" 由 warc-indexer 在索引时设置。
• content 字段必须显式开启索引，否则 OpenSearch 无法设置 position_increment_gap（位置增量间隔）。
• 动态字段仅包含 ssdeep_hash_bs_*，机构特定字段需手动添加（支持自定义扩展）。

6. 许可证

• 整体许可：GNU General Public License Version 2
• 部分子组件许可：Apache Software License, Version 2.0

参考文档

完整文档参见项目 https://github.com/ukwa/webarchive-discovery/wiki%E3%80%82