ukwa/webarchive-discovery-solr

Web Archive Discovery 镜像文档

镜像概述和主要用途

该镜像为Docker化的Solr版本，包含基于webarchive-discovery模式的核心组件，用于对ARC和WARC文件进行数据挖掘与索引，使文件内容可被探索和发现，适用于网络档案管理、数据检索等场景。

核心功能和特性

• 支持Opensearch，兼容Elasticsearch 7.10.2及旧版本（需稍作修改）
• 集成基于webarchive-discovery模式的Solr核心
• 提供ARC/WARC文件索引能力，生成可查询内容
• 支持自定义索引模式，可扩展字段满足特定需求

使用场景和适用范围

• 网络档案库的内容索引与检索系统
• ARC/WARC格式文件的数据分析与挖掘
• 历史网页数据的管理与可发现性实现
• 研究机构或档案部门的网络资源存档项目

使用方法和配置说明

运行开发版Opensearch服务器

通过提供的docker-compose文件启动服务：

bash
$ cd warc-indexer/src/main/opensearch/os1
$ docker-compose up -d

初始化索引

创建索引需执行以下命令（使用schema.json定义结构）：

bash
$ curl --insecure --user admin:admin -H 'Content-Type: application/json' -XPUT https://localhost:9200/warcdiscovery/  -d @schema.json

删除索引命令：

bash
$ curl --insecure --user admin:admin -XDELETE https://localhost:9200/warcdiscovery

Solr模式移植到Opensearch的差异

Solr模式移植至Opensearch的主要调整：

• index_time字段默认值"NOW"由warcindexer处理
• content_type_norm字段默认值"other"由warcindexer处理
• content字段必须索引以支持position_increment_gap
• 仅保留ssdeep_hash_bs_*作为动态字段，机构特定值可按需添加

索引WARC文件

使用以下命令将WARC文件索引至Opensearch：

bash
$ java -jar target/warc-indexer-*-jar-with-dependencies.jar -e https://localhost:9200/warcdiscovery/ --user admin --password admin src/test/resources/wikipedia-mona-lisa/flashfrozen-jwat-recompressed.warc.gz

文档与资源

详细文档参见https://github.com/ukwa/webarchive-discovery/wiki

许可证

整体遵循http://www.gnu.org/copyleft/gpl.html%EF%BC%8C%E9%83%A8%E5%88%86%E5%AD%90%E7%BB%84%E4%BB%B6%E9%87%87%E7%94%A8http://www.apache.org/licenses/LICENSE-2.0.txt%E3%80%82