warcforceone/fotoalbum-grab

fotoalbum-grab 镜像说明

镜像概述

本镜像对应ArchiveTeam的Fotoalbum归档项目，用于抓取Fotoalbum平台的内容并进行数字保存，确保互联网内容的长期可访问性。更多项目信息可参考ArchiveTeam维基。

核心功能

1. 灵活部署：支持通过Warrior工具集成运行，或独立克隆仓库部署。
2. 进度监控：默认提供http://localhost:8001/的Web界面查看任务状态。
3. 配置定制：可设置并发数、绑定IP地址、关闭Web界面等参数。
4. 多系统适配：兼容Debian/Ubuntu、CentOS、Fedora、Arch Linux等主流操作系统。

使用场景

1. 个人或组织参与数字归档公益项目，贡献计算资源保存Fotoalbum内容。
2. 学习数字归档工具的使用与配置，了解Web内容抓取与保存流程。
3. 针对Fotoalbum平台的内容进行本地化备份（需遵守平台使用条款）。

配置说明

基础配置

• 昵称替换：将所有命令中的YOURNICKHERE替换为自定义昵称（无需注册）。
• 并发数设置：通过--concurrent N调整并发任务数量（N为整数）。
• IP绑定：使用--context-value bind_address=IP地址指定抓取工具的绑定IP（需seesaw≥0.0.16）。
• 关闭Web界面：添加--disable-web-server参数可关闭默认Web监控界面。

部署示例

方式1：通过Warrior运行

1. 按照Warrior安装指南安装Warrior工具。
2. 在Warrior界面中选择"Fotoalbum"项目即可开始运行。

方式2：独立运行

1. 克隆仓库并安装依赖：

   bash
   git clone https://github.com/ArchiveTeam/fotoalbum-grab.git
   cd fotoalbum-grab
   python3 -m pip install setuptools wheel
   python3 -m pip install --upgrade seesaw zstandard requests
   ./get-wget-lua.sh
   

2. 启动抓取任务：

   bash
   run-pipeline3 pipeline.py --concurrent 2 YOURNICKHERE
   

3. 带IP绑定的示例（关闭Web界面）：

   bash
   run-pipeline3 pipeline.py --concurrent 2 YOURNICKHERE --disable-web-server --context-value bind_address=123.4.5.6
   

系统特定配置

Debian/Ubuntu（以buster为例）

bash
adduser --system --group --shell /bin/bash archiveteam
echo deb http://deb.debian.org/debian buster-backports main contrib > /etc/apt/sources.list.d/backports.list
apt-get update && apt-get install -y git-core libgnutls-dev lua5.1 liblua5.1-0 liblua5.1-0-dev screen bzip2 zlib1g-dev flex autoconf autopoint texinfo gperf lua-socket rsync automake pkg-config python3-dev python3-pip build-essential
apt-get -t buster-backports install zstd libzstd-dev libzstd1
python3 -m pip install setuptools wheel && python3 -m pip install --upgrade seesaw zstandard requests
su -c "cd /home/archiveteam; git clone https://github.com/ArchiveTeam/fotoalbum-grab.git; cd fotoalbum-grab; ./get-wget-lua.sh" archiveteam
screen su -c "cd /home/archiveteam/fotoalbum-grab/; run-pipeline3 pipeline.py --concurrent 2 --address '127.0.0.1' YOURNICKHERE" archiveteam
# 按Ctrl+A+D detach屏幕会话

CentOS

bash
yum -y groupinstall "Development Tools"
yum -y install gnutls-devel lua-devel python-pip zlib-devel zstd libzstd-devel git-core gperf lua-socket luarocks texinfo git rsync gettext-devel
pip install --upgrade seesaw
# 后续步骤同独立运行方式

故障排除

1. wget-lua编译失败：若出现文档编译错误，可手动移动编译后的wget-lua文件：

   bash
   cd get-wget-lua.tmp && mv src/wget ../wget-lua && cd ..
   

2. seesaw模块缺失：检查pip安装路径权限，或使用pip2 install seesaw重新安装。
3. rsync版本问题：若上传阶段出错，可尝试替换rsync为Homebrew或PPA安装的版本（如OS X中使用alias rsync=/usr/local/bin/rsync）。

更多问题可参考项目GitHub Issues或加入IRC频道（irc.efnet.org #archiveteam）咨询。