wikiwi/robots-disallow

robots-disallow

robots-disallow 实现了一个HTTP服务器，用于提供禁止所有机器人访问的robots.txt文件。

核心功能

• 响应HTTP请求并返回标准的robots.txt内容（禁止所有机器人访问）
• 支持自定义监听地址与端口
• 轻量且易于部署

使用场景

• 需要阻止所有网络爬虫抓取的网站或服务
• 测试环境中限制机器人访问以保护数据
• 快速搭建临时的robots.txt服务

配置说明

命令行参数

• --listen: 监听地址（默认值：0.0.0.0:8080），可通过环境变量ROBOTS_DISALLOW_LISTEN设置
• -v, --version: 显示镜像版本
• -h, --help: 显示帮助信息

部署示例

Docker Run

bash
docker run -p 8080:8080 wikiwi/robots-disallow

验证输出

执行以下命令可查看服务返回的robots.txt内容：

bash
curl localhost:8080
# 输出结果：
# User-agent: *
# Disallow: /

Docker Hub

该镜像的自动化构建可在 https://hub.docker.com/r/wikiwi/robots-disallow 获取。