archivebox/abx-dl

abx-dl 集成化URL内容下载工具

一个集成化命令行工具，可自动检测并下载URL中的所有可用内容，基于ArchiveBox插件生态系统提供简洁的一站式体验。

Docker部署示例

bash
docker run -it -v "$PWD:/out" docker.xuanyuan.run/archivebox/abx-dl 'https://example.com'

镜像概述

abx-dl 是一款一站式CLI工具，通过ArchiveBox插件生态系统实现URL内容的全面下载。它整合了yt-dlp、gallery-dl、wget等多种工具的功能，支持网页、媒体、元数据等各类内容的提取，适用于网络存档、数字保存、OSINT（开源情报）等场景。

核心功能

1. 多类型内容下载：支持HTML、JS、CSS、图片、音频、视频、字幕、PDF、截图等；
2. 插件化架构：通过abx-plugins插件库扩展功能，可按需启用或禁用插件；
3. 自动依赖管理：自动安装缺失的依赖工具（如wget、chrome）；
4. 灵活配置：通过环境变量、配置文件或CLI参数自定义行为；
5. 结构化输出：生成JSONL格式的元数据清单及分类存储的内容文件。

使用场景

• 数字保存：存档网页内容以备后续查阅；
• 数据采集：批量提取URL中的媒体或文本内容；
• OSINT分析：收集目标URL的公开信息；
• 内容备份：保存网页、视频、图片等资源到本地。

配置说明

基础配置

通过环境变量或配置文件（~/.config/abx/config.env）设置参数：

• TIMEOUT：默认超时时间（如60）；
• USER_AGENT：自定义用户代理；
• {PLUGIN}_ENABLED：启用/禁用特定插件（如WGET_ENABLED=True）；
• {PLUGIN}_BINARY：指定插件依赖的二进制路径（如CHROME_BINARY=/usr/bin/chromium）。

CLI参数示例

bash
# 指定输出目录和插件
abx-dl --dir=./downloads --plugins=wget,title,screenshot 'https://example.com'
# 限制输出类型
abx-dl --output=html,pdf,video 'https://example.com'
# 设置超时时间
abx-dl --timeout=120 'https://example.com'

输出结构

默认输出到当前目录，包含：

• index.jsonl：元数据清单（JSONL格式）；
• 按插件分类的子目录（如wget/、screenshot/、pdf/），存储对应内容。

可用插件

部分核心插件包括：

• wget：镜像网页及资源；
• ytdlp：下载音频、视频及字幕；
• screenshot：生成网页截图；
• pdf：导出网页为PDF；
• readability：提取文章文本内容；
• git：克隆代码仓库。

更多插件可参考https://github.com/ArchiveBox/abx-plugins。

如需更高级功能（如Web UI、REST API），请参考https://github.com/ArchiveBox/ArchiveBox。