scrapinghub/portia-on-dash

Portia

镜像概述和主要用途

Portia是一个可视化网页抓取工具，无需编程知识即可实现网站数据提取。用户通过标注网页元素来定义需提取的数据，Portia能基于这些标注自动从相似页面中抓取信息，适用于各类网站的数据收集场景。

核心功能和特性

Portia项目结构

一个Portia项目通常包含一个或多个爬虫（Spider）。

爬虫（Spider）

针对特定网站的抓取器，其配置分为三个部分：

• 初始化（Initialization）：设置爬虫启动时的参数，包括起始URL和登录凭据。
• 爬取（Crawling）：配置URL处理规则，包括链接跟随方式、是否尊重nofollow标签等。可通过"Overlay blocked links"选项可视化爬取规则效果（绿色为跟随链接，红色为不跟随链接）。
• 提取（Extraction）：列出该爬虫的模板（Templates）。

模板（Templates）

爬虫访问页面时，会将页面与各模板匹配，标注数量多的模板优先。若匹配成功，将使用模板标注提取数据生成条目（Item，需所有必填字段均填充）。模板由标注组成，定义从页面提取的元素及对应条目字段，可针对不同页面布局创建多个模板（如电商网站的书籍和CD页面）。

标注（Annotations）

定义网页数据的位置及爬虫使用方式，通常将页面元素映射到条目字段，也可标记为必填项（仅检查元素存在性，不存储数据）。支持映射元素属性（如锚链接的href属性）而非内容。

条目（Items）

从目标网站抓取的单个数据项（如电商产品）。条目定义（Item Definition）指条目的 schema，包含多个字段（如name、price）。可设置字段为"必填"（缺失时丢弃条目）或"可变"（检查重复时忽略该字段，如URL字段）。

使用场景和适用范围

• 电商网站产品信息抓取（名称、价格、规格等）
• 内容聚合平台数据收集（新闻、文章、评论等）
• 市场研究和竞争分析数据获取
• 无需编程背景的用户快速实现网页数据提取

使用方法和配置说明

Docker部署

构建镜像

bash
docker build -t portia .

运行容器

bash
docker run -i -t --rm \
  -v <PROJECT_FOLDER>/data:/app/slyd/data:rw \
  -p 9001:9001 \
  --name portia \
  portia

• -v <PROJECT_FOLDER>/data:/app/slyd/data:rw：挂载项目目录，用于存储Portia项目数据
• -p 9001:9001：映射端口，访问地址为http://localhost:9001/static/main.html
• Windows用户注意：<PROJECT_FOLDER>路径格式需为/<盘符>/<路径>（如/c/portia/projects）

运行爬虫

在容器中执行portiacrawl命令运行项目中的爬虫：

bash
docker run -i -t --rm \
  -v <PROJECT_FOLDER>/data:/app/slyd/data:rw \
  portia /app/slybot/bin/portiacrawl <PROJECT_PATH> [SPIDER] [OPTIONS]

• <PROJECT_PATH>：项目路径（如/app/slyd/data/projects/myproject）
• [SPIDER]：爬虫名称（可选，不指定时列出项目所有爬虫）
• [OPTIONS]：可传递Scrapy参数（如-a传递参数，--settings指定自定义设置模块）

创建Portia项目

1. 在Portia界面顶部导航栏输入网站URL，点击"Start"创建项目及对应爬虫
2. 点击"Annotate this page"进入标注模式，通过高亮或点击页面元素创建标注
3. 在标注上下文菜单中选择目标字段（或创建新字段），可标记为"必填"或"可变"
4. 完成标注后点击"Continue browsing"验证数据提取效果，必要时创建多个模板适配不同页面布局

高级标注功能

多字段提取

单个标注可提取多个字段，通过标注设置中的"Attribute mappings"定义元素的多个属性映射（如锚链接的href属性和文本内容分别映射到不同字段）。

变体（Variants）

用于处理同一项目的多个变体（如不同尺寸的产品）。将公共数据标注到"Base"变体，变体数据标注到不同变体编号，Portia会自动生成每个变体的完整条目。

部分标注（Partial Annotations）

通过拖拽高亮文本片段提取部分内容（如从"Price: $5.00"中提取"5.00"），需确保文本周围存在固定模式以便匹配相似页面。

多模板使用技巧

• 模板按标注数量排序（多者优先），数量相同时按创建顺序排序
• 使用"仅必填"标注（-just required-）标记页面必现元素，减少误匹配
• 为不同页面布局创建专用模板，并通过设置必填字段确保模板正确匹配

部署项目

Portia项目可通过Scrapyd部署：

1. 进入项目目录（slyd/data/projects/PROJECT_NAME），在scrapy.cfg中添加Scrapyd目标
2. 执行部署命令：

   bash
   scrapyd-deploy your_scrapyd_target -p project_name
   

3. 调度爬虫：

   bash
   curl http://your_scrapyd_host:6800/schedule.json -d project=your_project_name -d spider=your_spider_name
   

附加功能

Git项目版本控制

在slyd/slyd目录创建local_settings.py：

python
import os
SPEC_FACTORY = {
    'PROJECT_SPEC': 'slyd.gitstorage.projectspec.ProjectSpec',
    'PROJECT_MANAGER': 'slyd.gitstorage.projects.ProjectsManager',
    'PARAMS': {
        'storage_backend': 'dulwich.fsrepo.FsRepo',
        'location': os.environ.get('PORTIA_DATA_DIR', SPEC_DATA_DIR)
    },
    'CAPABILITIES': {
        'version_control': True,
        'create_projects': True,
        'delete_projects': True,
        'rename_projects': True
    }
}

MySQL项目存储

在slyd/slyd目录创建local_settings.py：

python
import os
SPEC_FACTORY = {
    'PROJECT_SPEC': 'slyd.gitstorage.projectspec.ProjectSpec',
    'PROJECT_MANAGER': 'slyd.gitstorage.projects.ProjectsManager',
    'PARAMS': {
        'storage_backend': 'dulwich.mysqlrepo.MysqlRepo',
        'location': os.environ.get('DB_URL'),
    },
    'CAPABILITIES': {
        'version_control': True,
        'create_projects': True,
        'delete_projects': True,
        'rename_projects': True
    }
}

设置环境变量DB_URL=mysql://<USERNAME>:<PASSWORD>@<HOST>:<PORT>/<DB>，执行bin/init_mysqldb初始化数据库。