felix83000/watcher

Watcher 镜像文档

镜像概述和主要用途

Watcher是由Thales Group CERT开发的开源网络安全威胁狩猎平台，基于Django和React JS构建。该平台通过监控RSS源、社交媒体等渠道，自动检测新兴网络安全威胁（如漏洞、***），支持威胁情报导出至TheHive/MISP，提供邮件通知功能，并允许用户管理威胁警报和趋势词。

核心功能和特性

• 威胁检测：通过RSS源、社交媒体（需配合RSS-Bridge）监控网络安全威胁
• 自动化爬取：每30分钟自动爬取互联网威胁信息
• 用户管理：支持管理员、 staff 和普通用户角色，可配置LDAP认证
• 通知系统：通过SMTP服务器发送邮件通知
• 威胁情报导出：支持导出至TheHive和MISP平台
• 警报管理：支持警报归档、趋势词阻止列表等功能
• 可扩展性：允许添加自定义RSS源和配置多种环境参数

使用场景和适用范围

适用于网络安全团队、SOC（安全运营中心）、安全研究人员等，用于实时监控和狩猎网络安全威胁，整合威胁情报，提升安全响应效率。

详细使用方法和配置说明

前提条件

• 安装Docker
• 安装Docker Compose

启动Watcher

1. 获取docker-compose.yml、.env文件以及Searx、Rss-bridge目录（保持目录结构）
2. 根据现有基础设施，通过.env文件配置Watcher设置（静态配置）
3. 启动容器：

   bash
   docker-compose up
   

4. 等待出现以下日志确认启动成功：

   watcher          | db_watcher is up, starting Watcher.
   watcher          | Performing system checks...
   watcher          | 
   watcher          | System check identified no issues (0 silenced).
   watcher          | October 08, 2020 - 10:28:02
   watcher          | Django version 3.1.1, using settings 'watcher.settings'
   watcher          | Starting development server at http://0.0.0.0:9002/
   watcher          | Quit the server with CONTROL-C.
   

5. 通过http://0.0.0.0:9002或http://服务器IP:9002访问Watcher
6. 停止服务：

   bash
   CONTROL-C  # 停止运行中的容器
   docker-compose down  # 完全停止所有容器
   

数据库迁移

更新数据库状态以匹配当前模型和迁移文件：

bash
docker-compose down
docker-compose run watcher bash
python manage.py migrate

创建管理员用户

创建超级用户以访问/admin页面：

bash
docker-compose down
docker-compose run watcher bash
python manage.py createsuperuser

填充数据库

使用populate_db脚本填充数据库，包含数百个与网络安全相关的禁用词和RSS源：

bash
docker-compose down
docker-compose run watcher bash
python manage.py populate_db

注意事项

首次运行Watcher时，首页没有新威胁是正常现象。系统每30分钟自动爬取互联网威胁信息，稍后会显示结果。

静态配置

大部分设置可通过/admin页面修改，以下设置需在.env文件中配置：

生产环境设置（重要）

生产环境中，需将DJANGO_DEBUG设为False：

DJANGO_DEBUG=False

Django密钥必须是大的随机值且保密，默认值需修改：

DJANGO_SECRET_KEY=[大的随机值]

时区设置：

# 时区
TZ=Europe/Paris

修改后重启容器：

bash
docker-compose down
docker-compose up

远程访问配置

访问Web界面时若出现"Bad Request"错误，需在.env文件中设置ALLOWED_HOST，限制为单个IP或FQDN：

ALLOWED_HOST=X.X.X.X  # 或 ALLOWED_HOST=mywebsite.com

重启容器使配置生效：

bash
docker-compose down
docker-compose up

SMTP服务器设置（邮件通知）

在.env文件中配置：

EMAIL_FROM=watcher@example.com
SMTP_SERVER=smtp.example.com

邮件通知中的网站链接：

WATCHER_URL=https://example.watcher.local

重启容器使配置生效：

bash
docker-compose down
docker-compose up

TheHive设置

如需导出至TheHive，配置TheHive实例IP和API密钥：

# THE HIVE 配置
THE_HIVE_URL=
THE_HIVE_KEY=
THE_HIVE_CASE_ASSIGNEE=watcher

重启容器使配置生效：

bash
docker-compose down
docker-compose up

MISP设置

如需导出至MISP，配置MISP实例IP和API密钥：

# MISP 配置
MISP_URL=
MISP_VERIFY_SSL=False
MISP_KEY=

重启容器使配置生效：

bash
docker-compose down
docker-compose up

LDAP设置

配置LDAP认证：

# LDAP 配置
AUTH_LDAP_SERVER_URI=
AUTH_LDAP_BIND_DN=
AUTH_LDAP_BIND_PASSWORD=
AUTH_LDAP_BASE_DN=
AUTH_LDAP_FILTER=(uid=%(user)s)

重启容器使配置生效：

bash
docker-compose down
docker-compose up

故障排除

删除数据库

如需完全重置数据库，删除主机系统中的数据库卷并重启：

bash
docker-compose down
docker volume rm watcher-project_db_data
docker volume rm watcher-project_db_log
docker-compose up

操作后需重新执行数据库迁移。

常用命令

后台运行容器：

bash
docker-compose up -d

进入Watcher容器交互式shell：

bash
docker-compose run watcher bash

使用Watcher

用户注册

创建普通用户、staff用户或管理员用户：

1. 访问/admin页面
2. 点击用户→添加用户
3. 输入用户名和密码，点击保存
4. 设置权限：
   • Active：默认选项，允许用户访问站点
   • Staff status：允许用户登录管理站点
   • Superuser status：赋予用户所有权限
5. 可输入电子邮件地址用于通知
6. 点击保存

添加邮件通知订阅者

订阅主题以接收邮件通知：

1. 访问/admin页面
2. 点击订阅者→添加订阅者
3. 选择用户，点击保存

添加RSS源到威胁检测

Watcher默认提供数百个网络安全RSS源（通过填充数据库获取），可添加自定义RSS源：

1. 确保RSS源URL指向有效的RSS文件（支持Atom 1.0、Atom 0.3、RSS 2.0等格式）
2. RSS文件需包含多篇文章，优先使用https链接
3. 访问/admin页面
4. 在THREATS_WATCHER部分点击Sources→添加Source
5. 填写Url，点击保存

使用RSS-Bridge添加更多源（***、GoogleSearch等）

RSS-Bridge默认仅配置***，可通过修改Watcher/Rss-bridge/whitelist.txt添加其他源（如***、DuckDuckGo、GoogleSearch等）。

RSS-Bridge源URL格式示例：

http://10.10.10.7/?action=display&bridge=Twitter&context=By+username&u=tomchop_&norep=on&nopic=on&noimg=on&noimgscaling=on&format=Mrss

自定义URL时，修改bridge和参数，保留http://10.10.10.7/和format=Mrss。可通过公共实例测试RSS-Bridge API：[***]

TheHive & MISP导出

导出监控的DNS至TheHive或MISP：

1. 访问/website_monitoring页面
2. 添加要监控的DNS
3. 点击蓝色上传/云按钮
4. 选择目标服务

故障排除

若导出失败，可能是TheHive/MISP版本过旧，需更新实例至兼容版本。

阻止列表管理

阻止列表用于防止误报的趋势词再次出现。

添加单个趋势词：

1. 访问首页
2. 登录后点击"删除并加入阻止列表"按钮

添加多个趋势词：

1. 访问/admin页面
2. 点击Trendy words
3. 勾选需删除并阻止的趋势词
4. 点击Action下拉菜单
5. 选择"Delete & Blocklist selected trendy words"

归档警报

处理完警报后可将其归档。

归档单个警报：

1. 访问目标警报页面
2. 点击"disable"按钮

归档多个警报：

1. 访问/admin页面
2. 点击Alerts
3. 勾选需归档的警报
4. 点击Action下拉菜单
5. 选择"Disable selected alerts"

更新Watcher

更新Watcher镜像步骤：

1. 停止所有容器：

   bash
   docker-compose down
   

2. 删除旧镜像：

   bash
   docker rmi felix83000/watcher:latest searx/searx searx/searx-checker rssbridge/rss-bridge:latest
   

3. 拉取并启动新镜像：

   bash
   docker-compose up
   

此操作将更新Watcher、Rss-bridge和Searx。

开发者指南

如需修改项目并提交PR，需设置开发环境。

设置Watcher开发环境

推荐使用Linux虚拟机（如Ubuntu 20.04 LTS）：

1. 安装依赖：

   bash
   # 安装Python 3.8、Node.js 14、Git
   sudo apt install -y python3.8 nodejs git
   # 安装python-ldap依赖
   sudo apt install -y libsasl2-dev python-dev libldap2-dev libssl-dev
   # 安装mysqlclient依赖
   sudo apt install default-libmysqlclient-dev
   # 安装npm
   sudo apt install npm
   

2. 拉取代码：

   bash
   git clone https://github.com/thalesgroup-cert/Watcher.git
   cd Watcher/Watcher
   

3. 安装Python依赖：

   bash
   pip install -r requirements.txt
   

4. 安装NLTK/punkt依赖：

   bash
   python3 ./nltk_dependencies.py
   

   （如有代理，可在nltk_dependencies.py中配置）

5. 安装Node.js依赖：

   bash
   npm install
   

6. 安装并配置MySQL：

   bash
   sudo apt install mysql-server
   sudo mysql_secure_installation  # 按提示配置root密码等
   # 创建数据库和用户
   sudo mysql
   CREATE USER 'watcher'@'localhost' IDENTIFIED BY 'Ee5kZm4fWWAmE9hs';
   GRANT ALL PRIVILEGES ON *.* TO 'watcher'@'localhost' WITH GRANT OPTION;
   CREATE DATABASE db_watcher;
   use db_watcher;
   exit
   # 检查MySQL状态
   systemctl status mysql.service
   

7. 修改settings.py中的数据库配置：

   python
   DATABASES = {
       'default': {
           'ENGINE': 'django.db.backends.mysql',
           'CONN_MAX_AGE': 3600,
           'NAME': 'db_watcher',
           'USER': 'watcher',
           'PASSWORD': 'Ee5kZm4fWWAmE9hs',
           'HOST': 'localhost',  # 开发环境设为localhost
           'PORT': '3306',
           'OPTIONS': {
               'init_command': "SET sql_mode='STRICT_TRANS_TABLES'",
           },
       }
   }
   

   [重要] 提交代码前需将HOST改回db_watcher

8. 迁移数据库并运行Watcher：

   bash
   cd ..  # 返回Watcher目录
   python3 manage.py migrate  # 迁移数据库
   python3 manage.py runserver  # 启动服务
   

修改前端

前端代码位于/Watcher/Watcher/frontend，修改后需实时构建：

bash
cd /Watcher/Watcher/
npm run dev  # 后台运行，修改后自动构建至main.js

[重要] 提交代码前需运行一次：

bash
npm run build

构建文档

修改注释后重建文档：

1. 注释以下文件中的指定行：

   • /Watcher/Watcher/threats_watcher/core.py:

     python
     # from .models import BannedWord, Source, TrendyWord, PostUrl, Subscriber
     

   • /Watcher/Watcher/data_leak/core.py:

     python
     # from .models import Keyword, Alert, PastId, Subscriber
     

   • /Watcher/Watcher/site_monitoring/core.py:

     python
     # from .models import Site, Alert, Subscriber
     

   • /Watcher/Watcher/site_monitoring/misp.py:

     python
     # from .models import Site
     

   • /Watcher/Watcher/site_monitoring/thehive.py:

     python
     # from .models import Site
     

   • /Watcher/Watcher/dns_finder/core.py:

     python
     # from .models import Alert, DnsMonitored, DnsTwisted, Subscriber
     

2. 构建文档：

   bash
   cd /Watcher/docs
   make html
   

3. 构建完成后取消注释上述行，并提交/Watcher/docs目录：

   bash
   git add /Watcher/docs