ukwa/py-wasapi-client

py-wasapi-client Docker镜像

镜像概述

py-wasapi-client Docker镜像是一个容器化的WASAPI客户端应用，用于与Archive-It平台的WASAPI数据传输API交互。该客户端遵循https://github.com/WASAPI-Community/data-transfer-apis/tree/master/ait-specification%E5%BC%80%E5%8F%91%EF%BC%8C%E6%8F%90%E4%BE%9B%E4%BB%8EWASAPI%E8%AE%BF%E9%97%AE%E7%82%B9%E8%8E%B7%E5%8F%96%E7%BD%91%E7%BB%9C%E5%AD%98%E6%A1%A3%EF%BC%88WARC%EF%BC%89%E6%96%87%E4%BB%B6%E7%9A%84%E5%AE%8C%E6%95%B4%E8%A7%A3%E5%86%B3%E6%96%B9%E6%A1%88%EF%BC%8C%E6%94%AF%E6%8C%81%E6%96%87%E4%BB%B6%E4%B8%8B%E8%BD%BD%E3%80%81%E6%A0%A1%E9%AA%8C%E5%92%8C%E7%AE%A1%E7%90%86%E5%8F%8A%E6%95%B0%E6%8D%AE%E6%9F%A5%E8%AF%A2%E7%AD%89%E5%8A%9F%E8%83%BD%E3%80%82

核心功能与特性

• WARC文件管理：支持从WASAPI访问点下载网络存档（WARC）文件
• 校验和处理：自动生成或仅生成校验和清单文件（支持服务端提供的多种哈希算法）
• 数据查询：获取符合条件的文件数量、总大小及可下载URL列表
• 并行下载：可配置多进程并行下载，提升下载效率
• 灵活认证：支持三种认证方式（命令行用户名密码、环境变量、配置文件）
• 日志系统：提供详细日志输出，支持日志文件记录（INFO/DEBUG级别）

使用场景与适用范围

适用于需要从Archive-It平台获取网络存档数据的用户群体：

• 研究人员：获取特定时间范围或主题的网络存档数据用于分析
• 数据管理员：批量下载、备份和管理网络存档文件
• 存档机构：定期同步或迁移网络存档数据

环境要求

• Docker引擎（1.13.0及以上版本）
• 网络连接：能够访问Archive-It WASAPI端点（默认：[***]

使用方法

获取镜像

bash
docker pull untlibraries/py-wasapi-client  # 实际使用时请替换为正确镜像名称

基本运行格式

bash
docker run --rm -v [本地目录]:/downloads untlibraries/py-wasapi-client wasapi-client [参数]

说明：-v [本地目录]:/downloads用于将本地目录挂载到容器内的下载目录，保存下载文件及日志。

配置说明

认证方式

1. 命令行交互认证
   通过-u参数指定用户名，容器会提示输入密码：

   bash
   docker run --rm -it untlibraries/py-wasapi-client wasapi-client -u exampleUser [其他参数]
   

2. 环境变量认证
   设置WASAPI_USER和WASAPI_PASS环境变量：

   bash
   docker run --rm -e WASAPI_USER=exampleUser -e WASAPI_PASS=examplePass untlibraries/py-wasapi-client wasapi-client [其他参数]
   

3. 配置文件认证
   挂载本地配置文件到容器内/root/.wasapi-client路径：

   bash
   docker run --rm -v /本地配置路径/.wasapi-client:/root/.wasapi-client untlibraries/py-wasapi-client wasapi-client --profile unt [其他参数]
   

   配置文件示例（本地~/.wasapi-client）：

   ini
   [unt]
   username = exampleUser
   password = examplePassword
   

参数说明

示例用法

1. 下载指定爬取任务的WARC文件并记录日志

bash
docker run --rm -v /本地下载目录:/downloads -v /本地日志路径:/logs untlibraries/py-wasapi-client wasapi-client --profile unt --crawl 256119 --log /logs/out.log -p 1 -d /downloads

2. 按时间范围下载并使用多进程

bash
docker run --rm -v /本地下载目录:/downloads -e WASAPI_USER=exampleUser -e WASAPI_PASS=examplePass untlibraries/py-wasapi-client wasapi-client --crawl-start-after 2016-12-22T13:01:00 --crawl-start-before 2016-12-22T15:11:00 -vv --log /downloads/out.log -p 4 -d /downloads

3. 查询文件数量和总大小

bash
docker run --rm -e WASAPI_USER=exampleUser -e WASAPI_PASS=examplePass untlibraries/py-wasapi-client wasapi-client -s

4. 仅生成校验和清单文件

bash
docker run --rm -v /本地下载目录:/downloads -v /本地配置路径/.wasapi-client:/root/.wasapi-client untlibraries/py-wasapi-client wasapi-client --profile unt --crawl 256119 --manifest -d /downloads

5. 列出可下载文件URL

bash
docker run --rm -it untlibraries/py-wasapi-client wasapi-client -u exampleUser --crawl 256119 --urls

测试

进入容器运行测试：

bash
docker run --rm -it untlibraries/py-wasapi-client /bin/bash
# 执行测试
python setup.py test
# 或使用tox
tox