ukwa/webrender-api

webrender-api

镜像概述和主要用途

webrender-api是一个独立的网页渲染服务，主要用于在网络爬取过程中渲染实时网页，以及在爬取完成后渲染存档网页。爬取期间，该服务应部署在warcprox之后，以确保所有必要资源被打包为WARC记录；爬取完成后，可用于比较爬取前后的结果，以及生成网页截图和缩略图。

核心功能和特性

• 独立服务架构：作为独立服务运行，无需依赖复杂的外部系统
• RESTful API接口：提供简洁的API端点，方便集成到爬虫或其他应用中
• WARC记录支持：与warcprox配合，确保爬取过程中资源被正确打包为WARC格式
• 网页渲染能力：基于PhantomJS脚本渲染网页内容
• 链接提取功能：自动提取渲染页面中的相关链接
• 结果摘要返回：以JSON格式返回渲染结果摘要
• 参数扩展支持：支持warc-prefix、selectors和include-rendered等额外查询参数

使用场景和适用范围

• 网络爬虫期间：渲染实时网页内容，确保所有资源被warcprox捕获并打包为WARC记录
• 爬取后分析：对比爬取前后的网页渲染结果，分析内容变化
• 媒体资源生成：为存档网页生成截图和缩略图，用于展示或存档

使用方法和配置说明

开发环境部署

1. 安装依赖：

   bash
   pip install Flask
   

2. 启动服务：

   bash
   FLASK_APP=webrender/wrengine.py flask run
   

3. 访问服务： 打开浏览器访问 [***]

生产环境部署

使用gunicorn进行生产部署，示例配置如下：

1. 安装gunicorn：

   bash
   pip install gunicorn
   

2. 使用提供的配置文件启动：

   bash
   gunicorn -c gunicorn.ini webrender.wrengine:app
   

API详情

/render?url={URL}

该端点用于在浏览器中渲染指定URL，提取相关链接，并以JSON对象形式返回结果摘要。

参数说明

• url（必填）：需要渲染的网页URL，特殊字符需编码（例如&需编码为%26）
• warc-prefix（可选）：WARC记录前缀
• selectors（可选）：用于提取特定内容的CSS选择器
• include-rendered（可选）：是否包含渲染后的完整内容

功能说明

渲染过程基于PhantomJS脚本实现，完成后返回包含页面标题、提取的链接、渲染状态等信息的JSON摘要。