ukwa/crawl-log-viewer

爬取日志查看器 (Crawl Log Viewer)

镜像概述和主要用途

爬取日志查看器是一个独立的Web服务，用于检索和过滤存储在Kafka主题中的爬取日志流。它提供直观的Web界面，支持通过多种过滤器查看日志，并能显示状态码的解释信息，方便用户分析爬取活动。

核心功能和特性

• Kafka集成：从Kafka主题中检索日志流
• 灵活过滤：使用fnmatch库提供简单的过滤语法，支持按状态码、URL、跳路径、内容类型等筛选
• 状态码解释：悬停状态码可查看详细解释
• 服务集成：预配置链接至UKWA内部Wayback服务，并支持通过source标签链接至W3ACT curation服务

使用场景和适用范围

• 查看小型爬取的日常活动日志
• 分析大型爬取中的特定日志条目（如错误、重定向、被阻止的URL等）
• 与爬取管理工具集成，提供日志查询功能

使用方法和配置说明

部署方式

该服务可通过Docker部署，需提供配置文件topics.json，指定Kafka brokers地址和要检查的主题。

Docker运行示例

bash
docker run -d -p 5000:5000 -v /path/to/topics.json:/app/topics.json ukwa/crawl-log-viewer

配置文件

配置文件topics.json需包含Kafka brokers和主题信息，示例格式：

json
{
  "brokers": "kafka:9092",
  "topics": [
    "crawl-logs-topic-1",
    "crawl-logs-topic-2"
  ]
}

过滤器使用

服务默认显示配置中第一个主题的前一天活动日志，可通过URL参数应用过滤器。过滤器使用fnmatch语法，以下是常用示例（假设服务运行在本地http://localhost:5000）：

状态码过滤

• ?status_code=404：显示"未找到"（Not Found）URL
• ?status_code=3*：显示所有重定向状态码
• ?status_code=-9998：显示所有被robots.txt阻止的URL
• ?status_code=-*：显示Heritrix的负状态码（通常表示错误/问题）
• ?status_code=[!-]*：不显示负状态码的日志行

URL过滤

• ?url=*.webarchive.org.uk*：匹配包含指定主机名的URL

跳路径过滤

• ?hop_path=_：显示所有种子URL（系统中以下划线_标记）
• ?hop_path=P：显示前置条件（如DNS/robots.txt等）
• ?hop_path=P*：显示前置条件及通过前置条件发现的其他URL

内容类型过滤

• ?content_type=image/*：显示所有图片类型的日志

集成说明

• Wayback服务：预配置链接URL至UKWA内部（QA）Wayback服务
• W3ACT服务：若事件标记有类似tid:<NNN>:<URL>的source，将链接至W3ACT curation服务的相关记录
• 反向集成：可与能查询URL爬取时间的工具（如pywb、OutbackCDX）集成，构建包含时间偏移和过滤器的链接，以检查特定爬取的详细日志

本地开发设置

启动本地Kafka服务

使用Docker Compose启动Kafka：

bash
docker-compose up -d kafka

等待片刻后，填充测试数据：

bash
./populate-test-kafka.sh

查看Kafka内容

启动Kafka UI查看主题内容：

bash
docker-compose up kafka-ui

访问http://localhost:9000查看。

设置开发环境

bash
virtualenv -p python3 venv
source venv/bin/activate
pip install -r requirements.txt

运行应用

bash
export FLASK_DEBUG=1
FLASK_APP=logs.py flask run

服务将运行在http://localhost:5000。