andreburgaud/robotspy

Python Robots排除标准解析器

robotspy Python模块实现了robots.txt文件的解析器，推荐使用robots.RobotsParser类。此外，还提供了轻量级 facade 类robots.RobotFileParser，可作为Python标准库中urllib.robotparser.RobotFileParser的替代品，其API与标准库类基本兼容。

核心功能

1. 遵循最新互联网草案《Robots Exclusion Protocol》（https://tools.ietf.org/html/draft-koster-rep-00%EF%BC%89
2. 支持sitemaps指令（暂不支持request-rate、crawl-delay等非规范指令）
3. 与Google Robots.txt解析器测试结果一致（除Google特定自定义行为外）
4. 修复了Python标准库urllib.robotparser的已知bug（如路径匹配逻辑错误）
5. 提供命令行工具（CLI）和Python模块两种使用方式

使用场景

• 爬虫开发：检查特定用户代理是否被允许访问目标网站的指定路径
• 网站运维：验证robots.txt配置是否符合预期
• 项目集成：作为Python库嵌入到爬虫或网站分析工具中

配置说明

Docker镜像使用

1. 拉取镜像：

bash
docker pull andreburgaud/robotspy

2. 基本使用示例：
   • 检查用户代理"Johnny"是否可访问路径"/"：

   bash
   docker run --rm andreburgaud/robotspy http://www.pythontest.net/elsewhere/robots.txt Johnny /
   

   • 检查用户代理"Nutch"是否可访问路径"/brian"：

   bash
   docker run --rm andreburgaud/robotspy http://www.pythontest.net/elsewhere/robots.txt Nutch /brian
   

3. 查看帮助：

bash
docker run --rm andreburgaud/robotspy --help

全局安装（pipx）

bash
pipx install robotspy
# 验证安装
robots --version

模块安装（虚拟环境）

bash
mkdir project && cd project
python -m venv .venv
source .venv/bin/activate  # Windows: .venv\scripts\activate
pip install --upgrade pip setuptools
pip install robotspy

模块使用示例

python
import robots
parser = robots.RobotsParser.from_uri('http://www.pythontest.net/elsewhere/robots.txt')
useragent = 'Nutch'
path = '/brian/'
result = parser.can_fetch(useragent, path)
print(f"用户代理'{useragent}'是否可访问路径'{path}'？{result}")

许可证

MIT License