ukwa/waybacks

UKWA Waybacks 镜像文档

镜像概述和主要用途

该镜像通过"WAR Overlay"方法对官方OpenWayback WAR文件进行定制化叠加修改，实现对多种Wayback安装的集中控制。它将配置与基础WAR文件分离，提供三个定制化版本，分别满足不同的Web归档回溯需求。

核心功能和特性

主要版本

• wayback-ukwa：基于官方OpenWayback发行版，打补丁后作为Open UK Web Archive Wayback服务使用
• wayback-qa：在wayback-ukwa基础上去除白名单限制，允许所有内容可见，用于测试环境
• wayback-ldwa：在wayback-ukwa基础上添加LDL阅览室回放功能，无白名单限制，但包含单并发使用锁，并配置为使用DLS后端系统

核心特性

• WAR Overlay架构：保持基础WAR与定制配置分离
• 多版本支持：一个构建流程生成多个专用版本
• 环境变量驱动配置：通过环境变量灵活配置服务参数
• 完善的访问控制机制：支持排除列表和白名单管理

使用场景和适用范围

• wayback-ukwa：生产环境中提供Open UK Web Archive的公共访问服务
• wayback-qa：开发和测试环境，用于验证新功能和配置变更
• wayback-ldwa：图书馆阅览室专用，提供受版权保护内容的受控访问

构建和安装指南

通用构建说明

默认构建命令会构建所有模块，每个模块生成不同的WAR文件用于不同部署环境：

bash
mvn clean install

重要注意事项：

• 构建后需手动将排除列表文件exclude.txt复制到部署目录，该文件独立于构建过程，可单独更新
• 排除列表通过环境变量引用，通常在/etc/sysconfig/tomcat-wayback中配置

部署步骤（非Docker环境）：

bash
# 登录目标服务器
ssh oukwa-wayback
# 拉取最新代码
cd /root/github/waybacks/
git pull
# 构建WAR文件
mvn clean install
# 部署到Tomcat
cd /opt/tomcat_instances/wayback/webapps/
cp /root/github/waybacks/wayback-ukwa/target/wayback.war ROOT.war

开发构建/测试说明

由于使用WAR Overlay，IDE的"Run on server"功能可能无法正常工作，建议使用Maven运行：

bash
# 基本运行命令
mvn clean install tomcat7:run-war

# 带日志配置的运行命令
mvn -Djava.util.logging.config.file=src/main/resources/logging.properties clean install tomcat7:run-war

环境变量配置：

实际配置通过环境变量完成，示例可参考docker-compose.yml或Eclipse环境变量配置截图。推荐使用wayback-ukwa/run-war-internal.sh等脚本中的环境变量设置。

测试访问：

服务运行后，需通过包含访问点的完整路径测试，使用白名单覆盖且未被排除文件屏蔽的URL：

http://localhost:8080/wayback-ukwa/archive/query?type=urlquery&url=http%3A%2F%2Fwww.bl.uk

依赖要求

• Java 7
• Tomcat 7
• ICU4J工具包（用于支持威尔士语日期）

威尔士语日期支持

为支持威尔士语UI，需安装ICU4J工具包到JVM：

• 将ICU4J JAR文件（如icu4j-54_1_1.jar）安装到/usr/java/jdk1.6.0_12/jre/lib/ext目录
• Java升级后需重新安装这些JAR文件
• 参考：[***]

UKWA Wayback 修改内容

JSP/UI修改

• 集成Flowplayer播放器
• 嵌入Google Analytics代码
• UKWA主题（UI页眉/页脚JSP、工具栏品牌标识等）
• 语言间交叉链接
• 页面标题添加"[ARCHIVED]"标识
• 链接到主站点（如免责声明、服务条款）

Bean/系统修改

• 启用Memento访问点（archive/memento/和archive/list/）
• 通过exclude.txt屏蔽选定网站
• 开放访问网站白名单，对阅览室专用内容返回HTTP 451状态码
• 威尔士语访问点（wayback/archive-cy）
• 通过RemoteCollection.xml支持OutbackCDX和HDFS/DLS后端

特殊说明

• 使用id_后缀可避免重写并返回原始响应：[***]
• Apache 2.2 mod_proxy可能将HTTP 451状态码转换为500，需确保响应格式为HTTP/1.1 451 Unavailable for Legal Reasons
• Tomcat 7.0.74或更高版本才能正确支持HTTP 451状态码

访问控制

机制说明

Open UK Web Archive Wayback服务使用两种访问控制机制：

• 排除文件：静默屏蔽匹配资源，用于合规要求（如内容下架）
• 白名单：声明开放访问内容子集，非白名单内容需在阅览室访问，返回HTTP 451状态码

注意：所有索引URL可通过URL前缀查询可见，如需隐藏特定URL，应从基础索引中移除

并发使用锁

根据***要求，对Non-Print Legal Deposit集合中的每个作品限制同时只能有一个用户访问，通过专用servlet过滤器实现：

• 基于用户JSESSIONID cookie锁定资源到特定用户会话
• 管理页面/archive/pages/maintainSessions.jsp用于查看和释放锁，需administrator角色通过HTTP Basic认证访问
• 用户关闭会话时可调用/archive/logoff释放锁，所有锁在午夜自动释放

待办事项

• 添加顶级POM以捕获通用配置并确保完整构建可靠性（已完成，需测试）
• 覆盖favicon
• 添加其他Wayback配置
• 添加测试工具，如http://localhost:8080/wayback-ukwa/archive/xmlquery.jsp?url=http://www.bl.uk/
• 集成Memento与Rewrite和Proxy模式
• 为Memento Timemaps添加哈希和状态
• 重新实现可控横幅（最小化、移动、仅主框架等）
• 改进与主站点的交叉链接
• 改进/替换Captures页面（考虑BubbleCalendar或基于Mementos的变体）
• 为wayback-ldwa设置WEB_ARCHIVE_NAME为"The British Library Legal Deposit Web Archive"