warcforceone/domains-grab

domains-grab 镜像文档

镜像概述和主要用途

domains-grab是ArchiveTeam域名归档项目的工具，用于协助用户参与域名数据的归档工作。该项目的更多信息可在ArchiveTeam Wiki查看：domains。

核心功能和特性

• 支持通过Warrior或独立方式运行，灵活适配不同用户需求
• 提供Web界面（默认http://localhost:8001/）监控归档进度
• 支持多线程并发下载，可通过--concurrent参数调整并发数
• 支持多IP实例运行，需seesaw 0.0.16及以上版本
• 跨平台兼容，支持Debian/Ubuntu、CentOS、Fedora、openSUSE、OS X、Arch Linux、Alpine Linux等多种操作系统

使用场景和适用范围

• 个人用户参与ArchiveTeam域名归档项目贡献计算资源
• 服务器环境部署长期运行的域名归档任务
• 需要多IP地址并发进行归档的场景
• 对域名历史数据归档感兴趣的技术爱好者和研究人员

详细使用方法和配置说明

准备工作

运行前需将命令中的YOURNICKHERE替换为您希望在跟踪器上显示的昵称，无需注册，直接选择喜欢的名称即可。

通过Warrior运行

按照ArchiveTeam Wiki上的Warrior安装说明安装Warrior，然后在Warrior界面中选择"domains"项目。

不通过Warrior运行

1. 克隆仓库并进入目录：

   bash
   git clone https://github.com/ArchiveTeam/domains-grab.git
   cd domains-grab
   

2. 安装依赖：

   bash
   python3 -m pip install setuptools wheel
   python3 -m pip install --upgrade seesaw zstandard requests warcio
   ./get-wget-lua.sh
   

3. 启动下载（默认2线程）：

   bash
   run-pipeline3 pipeline.py --concurrent 2 YOURNICKHERE
   

4. 查看更多选项：

   bash
   run-pipeline3 --help
   

5. 无root权限或pip版本过旧时的替代安装方法：

   bash
   wget https://raw.github.com/pypa/pip/master/contrib/get-pip.py
   python3 get-pip.py --user
   ~/.local/bin/pip3 install --upgrade --user seesaw
   ~/.local/bin/run-pipeline3 pipeline.py --concurrent 2 YOURNICKHERE
   

在不同IP上运行多个实例

该功能需要seesaw 0.0.16及以上版本，可通过以下命令升级：

bash
pip install --upgrade seesaw

使用--context-value参数指定绑定IP，示例（2线程，禁用Web界面，绑定IP为123.4.5.6）：

bash
run-pipeline3 pipeline.py --concurrent 2 YOURNICKHERE --disable-web-server --context-value bind_address=123.4.5.6

特定发行版设置

Debian/Ubuntu

需要版本1.4.4的libzstd-dev包，可从buster-backports获取：

bash
adduser --system --group --shell /bin/bash archiveteam
echo deb http://deb.debian.org/debian buster-backports main contrib > /etc/apt/sources.list.d/backports.list
apt-get update \
&& apt-get install -y git-core libgnutls-dev lua5.1 liblua5.1-0 liblua5.1-0-dev screen bzip2 zlib1g-dev flex autoconf autopoint texinfo gperf lua-socket rsync automake pkg-config python3-dev python3-pip build-essential \
&& apt-get -t buster-backports install zstd libzstd-dev libzstd1
python3 -m pip install setuptools wheel
python3 -m pip install --upgrade seesaw zstandard requests
su -c "cd /home/archiveteam; git clone https://github.com/ArchiveTeam/domains-grab.git; cd domains-grab; ./get-wget-lua.sh" archiveteam
screen su -c "cd /home/archiveteam/domains-grab/; run-pipeline3 pipeline.py --concurrent 2 --address '127.0.0.1' YOURNICKHERE" archiveteam
# 按Ctrl+A D分离screen会话

Debian Jessie、Ubuntu 18.04 Bionic及以上需将libgnutls-dev替换为libgnutls28-dev：

bash
adduser --system --group --shell /bin/bash archiveteam
echo deb http://deb.debian.org/debian buster-backports main contrib > /etc/apt/sources.list.d/backports.list
apt-get update \
&& apt-get install -y git-core libgnutls28-dev lua5.1 liblua5.1-0 liblua5.1-0-dev screen bzip2 zlib1g-dev flex autoconf autopoint texinfo gperf lua-socket rsync automake pkg-config python3-dev python3-pip build-essential \
&& apt-get -t buster-backports install zstd libzstd-dev libzstd1
# 后续步骤与上述相同

Ubuntu用户还可通过ArchiveTeam的PPA安装wget-lua。

CentOS

需启用EPEL仓库：

bash
yum -y groupinstall "Development Tools"
yum -y install gnutls-devel lua-devel python-pip zlib-devel zstd libzstd-devel git-core gperf lua-socket luarocks texinfo git rsync gettext-devel
pip install --upgrade seesaw
# 后续步骤与通用独立运行方式相同

已在EL7仓库测试通过。

Fedora

与CentOS步骤相同，但使用dnf代替yum（编译测试尚未完全成功）。

openSUSE

bash
zypper install liblua5_1 lua51 lua51-devel screen python-pip libgnutls-devel bzip2 python-devel gcc make
pip install --upgrade seesaw
# 后续步骤与通用独立运行方式相同

OS X

需安装Homebrew：

bash
brew install python lua gnutls
pip install --upgrade seesaw
# 后续步骤与通用独立运行方式相同

已知问题：部分rsync包版本可能导致上传阶段错误，可通过以下命令修复：

bash
alias rsync=/usr/local/bin/rsync

Arch Linux

1. 安装python2-pip
2. 从AUR安装wget-lua包
3. 运行pip2 install --upgrade seesaw
4. 修改seesaw的run-pipeline脚本，将#!/usr/bin/python改为#!/usr/bin/python2
5. 创建用户并运行：

   bash
   useradd --system --group users --shell /bin/bash --create-home archiveteam
   screen su -c "cd /home/archiveteam/domains-grab/; run-pipeline pipeline.py --concurrent 2 --address '127.0.0.1' YOURNICKHERE" archiveteam
   

Alpine Linux

bash
apk add lua5.1 git python bzip2 bash rsync gcc libc-dev lua5.1-dev zlib-dev gnutls-dev autoconf flex make
python -m ensurepip
pip install -U seesaw
git clone https://github.com/ArchiveTeam/domains-grab
cd domains-grab; ./get-wget-lua.sh
run-pipeline pipeline.py --concurrent 2 --address '127.0.0.1' YOURNICKHERE

FreeBSD

目前存在问题：./get-wget-lua.sh因FreeBSD自带tar差异可能无法运行，且缺少Lua 5.1开发头文件。如有解决方案，可通过IRC（irc.hackint.org #archiveteam）反馈。

故障排除

wget-lua构建失败

若出现wget.pod相关错误，文档编译失败但wget-lua可能已成功编译，尝试：

bash
cd get-wget-lua.tmp
mv src/wget ../wget-lua
cd ..

（若文件夹名称不同，使用实际名称并通过IRC反馈）

gnutls或openssl问题

确保已安装gnutls-dev(el)和openssl-dev(el)包。

ImportError: No module named seesaw

若已安装seesaw，可能是模块目录权限问题：

bash
chmod o+rX -R /usr/local/lib/python2.7/dist-packages

run-pipeline: command not found

使用pip2安装seesaw：

bash
pip2 install seesaw

代码问题

发现bug可通过GitHub issues跟踪器提交报告。开发者可参考开发文档参与开发。

其他问题

未列出的问题可通过IRC咨询：hackint IRC #archiveteam-bs。