apify/actor-node-playwright-firefox

镜像概述

本Docker镜像为预配置的开发环境，整合了Debian GNU/Linux系统、Node.js运行时、Playwright浏览器自动化工具、Firefox浏览器引擎及Apify SDK框架，旨在为网页自动化、网络爬虫开发与数据提取任务提供一站式运行环境，减少环境配置成本，确保开发与部署一致性。

核心功能与特性

基础环境

• Debian系统：基于稳定版Debian构建，提供可靠的Linux运行环境，支持主流开发工具链。
• Node.js运行时：集成最新LTS版本Node.js及npm/yarn包管理器，满足JavaScript/TypeScript项目运行需求。

自动化与爬虫工具

• Playwright：预安装Playwright及Firefox浏览器驱动，支持无头/有头模式的网页自动化，包括页面交互、截图、PDF生成等功能。
• Firefox浏览器：内置Firefox浏览器引擎，支持网页渲染、JavaScript执行及复杂DOM操作，适配Firefox特定网页场景。
• Apify SDK：集成Apify爬虫开发框架，提供队列管理、代理轮换、数据存储（本地/云）等爬虫核心能力，简化分布式爬虫开发流程。

使用场景与适用范围

1. 网页自动化测试
   基于Playwright+Firefox实现跨平台网页UI测试、表单提交模拟、动态内容加载验证等自动化测试任务。

2. 网络数据爬取
   利用Apify SDK的爬虫基础设施（如RequestQueue、CheerioCrawler）结合Firefox渲染能力，爬取JavaScript动态渲染的网页数据。

3. 浏览器渲染型爬虫开发
   针对需要完整浏览器环境的反爬网站，通过Playwright控制Firefox执行页面交互，实现数据提取。

4. 数据提取与处理
   结合Node.js的数据处理库（如lodash、pandas-js），对爬取数据进行实时清洗与格式化。

使用方法与配置说明

基本使用（docker run）

交互式开发环境

bash
docker run -it --rm \
  -v $(pwd):/app \  # 挂载本地项目目录至容器内/app
  -e NODE_ENV=development \  # 设置开发环境
  -e APIFY_TOKEN=<your-apify-token> \  # 可选：Apify平台API令牌（用于云存储/任务调度）
  <image-name> \
  bash  # 启动bash终端

运行爬虫/自动化脚本

bash
docker run --rm \
  -v $(pwd):/app \
  -e APIFY_LOCAL_STORAGE_DIR=/app/apify_storage \  # 指定Apify本地存储路径
  <image-name> \
  node /app/your-script.js  # 执行项目脚本

环境变量说明

Docker Compose配置示例

yaml
version: '3.8'
services:
  crawler:
    image: <image-name>
    volumes:
      - ./project:/app  # 挂载本地项目
      - apify_storage:/app/apify_storage  # 持久化Apify存储
    environment:
      - NODE_ENV=production
      - APIFY_TOKEN=<your-apify-token>
    command: node /app/main.js  # 启动爬虫脚本

volumes:
  apify_storage:  # 声明持久化卷

高级配置

• 自定义Firefox配置：通过挂载/etc/firefox目录覆盖浏览器配置（如用户代理、代理服务器）。
• Playwright调试模式：添加--security-opt seccomp=unconfined参数（仅开发环境），启用Playwright调试工具。
• 资源限制：通过--memory=4g --cpus=2限制容器CPU/内存资源，避免爬取任务过度占用主机资源。

注意事项

1. 首次运行时，Playwright可能需下载补充依赖（如字体包），建议通过docker build预构建完整镜像。
2. 涉及大规模爬取时，建议配合Apify平台使用，通过APIFY_TOKEN启用云任务调度与分布式执行。
3. 本地开发时，优先使用-it参数进入交互模式，便于调试脚本逻辑。