warcforceone/google-sites-grab

google-sites-grab

有关此归档项目的更多信息，请参见ArchiveTeam维基：Google Sites

镜像概述和主要用途

google-sites-grab是ArchiveTeam开发的工具，用于参与Google Sites的归档项目，主要功能是抓取和保存Google Sites上的内容，防止数据丢失。该工具支持通过Warrior（ArchiveTeam的通用归档平台）或独立方式运行，提供Web界面监控任务进度，并兼容多种操作系统。

核心功能和特性

• 多运行模式：支持通过Warrior平台集成运行，或独立克隆仓库运行
• Web监控界面：默认在http://localhost:8001/提供任务进度可视化界面
• 并发控制：可通过--concurrent参数设置并发任务数
• 多IP支持：支持绑定特定IP地址运行多实例（需seesaw 0.0.16+）
• 跨平台兼容：支持Debian/Ubuntu、CentOS、Fedora、openSUSE、OS X、Arch Linux、Alpine Linux等多种系统

使用场景和适用范围

适用于个人或组织希望参与Google Sites数据归档项目，贡献计算资源帮助抓取和保存网站内容。无需专业知识，普通用户可通过Warrior快速参与，高级用户可通过独立部署进行定制化配置。

使用方法和配置说明

通用准备

请确保将YOURNICKHERE替换为您希望在跟踪器上显示的昵称，无需注册，直接选择喜欢的名称即可。

运行命令时，通常会在http://localhost:8001/启动Web界面，可用于监控任务状态，若不关注可忽略。

若运行命令时出现问题，请参见本文档末尾的故障排除部分。

使用Warrior运行

按照ArchiveTeam维基上的Warrior安装说明安装Warrior，然后在Warrior界面中选择"Google Sites"项目。

不使用Warrior运行

要在Warrior外部运行，需克隆仓库并安装依赖：

bash
# 克隆仓库并进入目录
git clone https://github.com/ArchiveTeam/google-sites-grab.git
cd google-sites-grab

# 安装依赖
python3 -m pip install setuptools wheel
python3 -m pip install --upgrade seesaw zstandard requests
./get-wget-lua.sh

# 启动下载（将YOURNICKHERE替换为您的昵称）
run-pipeline3 pipeline.py --concurrent 2 YOURNICKHERE

查看更多选项：

bash
run-pipeline3 --help

无root权限或pip版本过旧的情况：

bash
# 安装用户级pip和seesaw
wget https://raw.github.com/pypa/pip/master/contrib/get-pip.py
python3 get-pip.py --user
~/.local/bin/pip3 install --upgrade --user seesaw

# 运行任务
~/.local/bin/run-pipeline3 pipeline.py --concurrent 2 YOURNICKHERE

在不同IP上运行多实例

此功能需要seesaw 0.0.16或更高版本，可通过pip install --upgrade seesaw升级。

使用--context-value参数指定绑定IP：

bash
# 示例：2个线程，禁用Web界面，绑定IP地址123.4.5.6
run-pipeline3 pipeline.py --concurrent 2 YOURNICKHERE --disable-web-server --context-value bind_address=123.4.5.6

特定发行版设置

Debian/Ubuntu

需要libzstd-dev 1.4.4版本，可从buster-backports获取：

bash
# 创建系统用户
adduser --system --group --shell /bin/bash archiveteam

# 添加backports源
echo deb http://deb.debian.org/debian buster-backports main contrib > /etc/apt/sources.list.d/backports.list

# 安装依赖
apt-get update \
&& apt-get install -y git-core libgnutls-dev lua5.1 liblua5.1-0 liblua5.1-0-dev screen bzip2 zlib1g-dev flex autoconf autopoint texinfo gperf lua-socket rsync automake pkg-config python3-dev python3-pip build-essential \
&& apt-get -t buster-backports install zstd libzstd-dev libzstd1

# 安装Python依赖
python3 -m pip install setuptools wheel
python3 -m pip install --upgrade seesaw zstd requests

# 克隆仓库并构建wget-lua
su -c "cd /home/archiveteam; git clone https://github.com/ArchiveTeam/google-sites-grab.git; cd google-sites-grab; ./get-wget-lua.sh" archiveteam

# 使用screen运行任务（按Ctrl+A+D分离会话）
screen su -c "cd /home/archiveteam/google-sites-grab/; run-pipeline3 pipeline.py --concurrent 2 --address '127.0.0.1' YOURNICKHERE" archiveteam

Debian Jessie、Ubuntu 18.04 Bionic及以上版本：libgnutls-dev已重命名为libgnutls28-dev，需替换安装命令：

bash
apt-get install -y git-core libgnutls28-dev lua5.1 liblua5.1-0 liblua5.1-0-dev screen bzip2 zlib1g-dev flex autoconf autopoint texinfo gperf lua-socket rsync automake pkg-config python3-dev python3-pip build-essential

Ubuntu用户也可通过ArchiveTeam的PPA安装wget-lua。

CentOS

需启用EPEL仓库：

bash
# 安装开发工具和依赖
yum -y groupinstall "Development Tools"
yum -y install gnutls-devel lua-devel python-pip zlib-devel zstd libzstd-devel git-core gperf lua-socket luarocks texinfo git rsync gettext-devel

# 安装seesaw
pip install --upgrade seesaw

# 后续步骤与Debian类似（克隆仓库、构建wget-lua、运行任务）

已在EL7仓库测试通过。

Fedora

与CentOS步骤相同，但使用dnf代替yum（编译测试尚未完全成功）。

openSUSE

bash
# 安装依赖
zypper install liblua5_1 lua51 lua51-devel screen python-pip libgnutls-devel bzip2 python-devel gcc make

# 安装seesaw
pip install --upgrade seesaw

# 后续步骤与Debian类似

OS X

需安装Homebrew：

bash
# 安装依赖
brew install python lua gnutls

# 安装seesaw
pip install --upgrade seesaw

# 后续步骤与Debian类似

已知问题：部分rsync包版本可能导致上传阶段错误，可尝试：

bash
alias rsync=/usr/local/bin/rsync

Arch Linux

bash
# 1. 安装python2-pip
# 2. 从AUR安装wget-lua包：https://aur.archlinux.org/packages/wget-lua/
# 3. 安装seesaw
pip2 install --upgrade seesaw

# 4. 修改seesaw的run-pipeline脚本，将首行改为#!/usr/bin/python2

# 5. 创建系统用户
useradd --system --group users --shell /bin/bash --create-home archiveteam

# 6. 使用screen运行任务
screen su -c "cd /home/archiveteam/google-sites-grab/; run-pipeline pipeline.py --concurrent 2 --address '127.0.0.1' YOURNICKHERE" archiveteam

Alpine Linux

bash
# 安装依赖
apk add lua5.1 git python bzip2 bash rsync gcc libc-dev lua5.1-dev zlib-dev gnutls-dev autoconf flex make

# 安装pip
python -m ensurepip
pip install -U seesaw

# 克隆仓库并运行
git clone https://github.com/ArchiveTeam/google-sites-grab
cd google-sites-grab; ./get-wget-lua.sh
run-pipeline pipeline.py --concurrent 2 --address '127.0.0.1' YOURNICKHERE

FreeBSD

目前存在兼容性问题：./get-wget-lua.sh因FreeBSD的tar差异可能无法运行，且缺少Lua 5.1开发头文件。如有解决方案，可通过IRC（irc.efnet.org #archiveteam）反馈。

故障排除

wget-lua构建失败

若出现wget.pod相关错误，说明文档编译失败但wget-lua已成功编译，可尝试：

bash
cd get-wget-lua.tmp  # 若文件夹名称不同，使用实际名称
mv src/wget ../wget-lua
cd ..

高级用户可使用wgetpod.patch修复。

get-wget-lua过程中gnutls或openssl问题

确保已安装gnutls-dev(el)和openssl-dev(el)包。

ImportError: No module named seesaw

若已按步骤安装seesaw，可能是模块目录权限问题：

bash
chmod o+rX -R /usr/local/lib/python2.7/dist-packages

run-pipeline: command not found

使用pip2安装seesaw：

bash
pip2 install seesaw

代码问题

发现bug可通过GitHub issues提交报告。开发者可参考开发文档参与代码贡献。

其他问题

未列出的问题可通过IRC频道#nearlylostmygoogles（hackint服务器）寻求帮助。