ciphrd/fxhash-dev-extract

镜像概述

该Docker镜像基于Chrome浏览器和Puppeteer构建，提供便捷的项目数据提取环境。Puppeteer作为Node.js库，可通过API控制Chrome浏览器实现网页自动化操作，本镜像整合了Chrome运行时与Puppeteer依赖，无需额外配置即可直接使用，适用于各类需要浏览器环境支持的数据提取任务。

核心功能与特性

• 完整Chrome环境：内置最新版Chrome浏览器，支持渲染动态网页内容
• Puppeteer集成：预装Puppeteer库，可直接调用其API进行浏览器控制
• 自动化操作支持：提供页面导航、表单填写、点击交互、数据提取等自动化能力
• 轻量级设计：优化镜像体积，降低资源占用，提升运行效率
• 可扩展性：支持挂载自定义脚本，灵活适配不同数据提取需求

使用场景

• 网页数据爬取：提取静态/动态网页中的结构化数据（表格、列表、文本内容等）
• 动态内容提取：处理JavaScript渲染页面，获取AJAX加载的动态数据
• 定期数据采集：配合定时任务实现目标网站数据的自动定期采集
• 网页内容导出：支持目标页面截图或PDF文档生成
• 前端测试辅助：作为前端自动化测试的浏览器环境支持

使用方法

基本运行（docker run）

启动容器并执行默认数据提取脚本：

bash
docker run -d --name data-extractor [镜像名称]

挂载自定义脚本

将本地脚本目录挂载至容器内/app/scripts目录，执行自定义提取逻辑：

bash
docker run -d --name data-extractor -v /本地脚本目录:/app/scripts [镜像名称] node /app/scripts/your-script.js

环境变量配置

docker-compose配置示例

创建docker-compose.yml文件：

yaml
version: '3'
services:
  data-extractor:
    image: [镜像名称]
    volumes:
      - ./scripts:/app/scripts  # 挂载自定义脚本目录
      - ./output:/app/output    # 挂载数据输出目录
    environment:
      - CHROME_ARGS=--no-sandbox --disable-gpu --disable-dev-shm-usage
      - PUPPETEER_HEADLESS=true
      - PAGE_LOAD_TIMEOUT=60000  # 超时时间设置为60秒
    command: node /app/scripts/extract-data.js  # 执行自定义脚本

启动服务：

bash
docker-compose up -d

自定义脚本示例

创建extract-data.js脚本（保存至./scripts目录）：

javascript
const puppeteer = require('puppeteer');
const fs = require('fs');
const path = require('path');

async function extractData() {
  // 启动浏览器
  const browser = await puppeteer.launch({
    args: process.env.CHROME_ARGS.split(' '),
    headless: process.env.PUPPETEER_HEADLESS === 'true'
  });
  
  // 创建页面
  const page = await browser.newPage();
  await page.setDefaultTimeout(parseInt(process.env.PAGE_LOAD_TIMEOUT));
  
  try {
    // 导航到目标页面
    await page.goto('https://example.com');
    
    // 提取页面数据（示例：标题和所有链接）
    const data = await page.evaluate(() => {
      return {
        title: document.title,
        links: Array.from(document.querySelectorAll('a')).map(a => a.href)
      };
    });
    
    // 保存数据到输出目录
    const outputPath = path.join(process.env.DATA_OUTPUT_PATH, 'extracted-data.json');
    fs.writeFileSync(outputPath, JSON.stringify(data, null, 2));
    console.log(`数据提取完成，保存至：${outputPath}`);
  } catch (error) {
    console.error('数据提取失败：', error);
  } finally {
    // 关闭浏览器
    await browser.close();
  }
}

// 执行提取函数
extractData();