austinweeks/miasma

🌀 Miasma

!https://raw.githubusercontent.com/austin-weeks/miasma/main/.github/images/miasma-art.png "Cover art by @cerberussaturn07"

AI公司持续大规模抓取互联网内容，将其作为训练数据用于模型训练。如果您拥有公开网站，这些内容可能已被未经授权地获取。Miasma工具可帮助您对抗这种行为：启动服务并将***爬虫流量引导至该服务，它会从poison fountain发送中毒训练数据，并包含多个自引用链接，让爬虫陷入无限循环。该工具速度快且内存占用极低，无需浪费大量计算资源即可抵御爬虫。

更多信息请参见项目的https://github.com/austin-weeks/miasma%E3%80%82

快速开始

使用默认配置运行镜像：

sh
docker run --rm -p 9999:9999 austinweeks/miasma:latest

使用自定义配置运行（详情请参见配置部分）：

sh
docker run --rm -p 9999:9999 austinweeks/miasma:latest --link-prefix '/naughty-bots/' --max-in-flight 30

或在Docker Compose集群中运行：

yaml
services:
  miasma:
    image: austinweeks/miasma:latest # 或指定具体的SemVer版本标签
    command: ["--link-prefix", "/naughty-bots/", "--max-in-flight", "30"]
    ports:
      - 9999:9999

指标追踪

Miasma支持按唯一User-Agent跟踪爬虫请求计数，这有助于识别访问频率最高的爬虫。指标数据存储在SQLite数据库中，并可通过指定的端点查看。

以下Compose配置为指标数据库创建持久化卷：

yaml
services:
  miasma:
    image: austinweeks/miasma:latest
    ports:
      - 9999:9999
    command: [
      "--metrics-endpoint", "/metrics",
      "--metrics-username", "admin_username",
      "--metrics-password", "admin_password",
      "--metrics-db-path", "/data/miasma_metrics.db",
    ]
    volumes:
      - miasma_metrics:/data

volumes:
  miasma_metrics:

配置说明

Miasma可通过CLI参数或https://github.com/austin-weeks/miasma/tree/main/docs/config_file%E8%BF%9B%E8%A1%8C%E9%85%8D%E7%BD%AE%E3%80%82

免责声明

Miasma与poison fountain无关联，我们无法控制其响应内容，也无法保证其安全性。您绝不能将用户引导至Miasma部署位置。

Miasma不对受影响爬虫运营商的任何报复行为负责。您有责任遵守适用***和托管服务提供商的政策。完整的 warranty 和责任限制详情请参见https://github.com/austin-weeks/miasma?tab=GPL-3.0-1-ov-file#readme%EF%BC%88GPL-v3%EF%BC%89%E3%80%82

---

封面艺术由@cerberussaturn07创作