a11ywatch/crawler

crawler 镜像文档

镜像概述和主要用途

crawler镜像是一个用于爬取网站并收集所有可能页面的工具，支持通过API接口触发爬取任务，可通过Docker容器化部署，方便集成到各类需要网站页面收集的工作流中。

核心功能和特性

• 网站页面爬取：自动发现并收集网站中的所有可能页面
• API接口支持：提供POST接口触发爬取任务，返回爬取结果
• Docker化部署：支持通过Docker构建、运行及docker-compose编排
• 环境变量配置：可通过环境变量自定义运行参数

使用场景和适用范围

适用于需要收集网站所有页面链接的场景，如网站内容分析、页面索引建立、网站结构梳理等。

使用方法和配置说明

Docker部署

构建并运行镜像

通过以下命令构建并运行crawler镜像：

bash
docker build -t crawler . && docker run -dp 8000:8000 crawler

使用docker-compose

通过docker-compose构建并运行服务：

bash
docker-compose up

从Docker Hub获取镜像

可直接使用Docker Hub上的官方镜像：https://hub.docker.com/repository/docker/a11ywatch/crawler

API使用

爬取网站页面

通过POST请求调用/crawl接口触发爬取任务，请求示例：

bash
curl --location --request POST 'http://0.0.0.0:8000/crawl' \
--header 'Content-Type: application/json' \
--data-raw '{"url": "http://www.drake.com", "id": 0 }'

返回结果示例：

json
{
    "pages": [
        "http://www.drake.com/",
        "http://www.drake.com/?hsLang=en"
    ],
    "user_id": 0,
    "domain": "http://www.drake.com"
}

环境变量配置

可通过以下环境变量自定义服务配置：

ROCKET_ENV=dev  # 运行环境，如dev（开发）、prod（生产）
CRAWL_URL="http://api:8080/api/website-crawl-background"  # 爬取任务的后台API地址

许可证

详见项目根目录下的LICENSE文件。