eddles/h16a_papa_web_scraper

Puppeteer网络爬虫云部署镜像

镜像概述

本Docker镜像专为基于Puppeteer的网络爬虫设计，提供完整的运行环境与依赖配置，优化云环境部署场景，支持高效执行网页抓取任务，尤其适用于需要处理JavaScript动态渲染内容的爬取需求。

核心功能与特性

• 完整依赖集成：内置Puppeteer及Chromium浏览器，无需额外安装依赖
• 云环境优化：针对云服务器资源特性优化，支持无头模式运行，降低资源占用
• 灵活配置：支持通过环境变量自定义爬取参数，如目标URL、并发数、超时时间等
• 稳定性保障：包含错误处理机制与重试逻辑，提升爬取任务稳定性
• 轻量级设计：基于Alpine Linux构建，镜像体积小，部署速度快

使用场景

• 大规模动态网页数据抓取（如JavaScript渲染的单页应用）
• 云服务中的定时爬虫任务（配合Cron或云调度服务）
• 需要模拟用户行为的网页交互爬取（如点击、表单提交）
• 跨平台云环境部署（兼容AWS、Azure、GCP等主流云服务）

使用方法

基础使用（docker run）

bash
docker run -d \
  -e TARGET_URL="https://example.com" \
  -e CONCURRENCY=3 \
  -e TIMEOUT=30000 \
  -v ./output:/app/output \
  --name puppeteer-scraper \
  [镜像名称]

环境变量配置

Docker Compose配置示例

yaml
version: '3'
services:
  scraper:
    image: [镜像名称]
    environment:
      - TARGET_URL=https://example.com
      - CONCURRENCY=5
      - TIMEOUT=45000
      - HEADLESS=true
    volumes:
      - ./scraper-output:/app/output
    restart: unless-stopped

爬取结果

爬取结果默认以JSON格式保存至OUTPUT_PATH目录，文件命名格式为{timestamp}_results.json，包含页面标题、内容、截图（可选）等信息。

注意事项

• 运行时需确保容器有足够内存（建议至少2GB），避免Chromium运行失败
• 部分网站可能有反爬机制，建议通过USER_AGENT配置模拟真实浏览器
• 大规模爬取时建议控制并发数，避免触发目标网站限流机制