liquidinvestigations/hoover-snoop

Snoop

Snoop是Hoover项目的分析组件，负责遍历文件转储，提取各类文档的文本与元数据，并将数据索引至Elasticsearch，同时提供独立Web服务展示所有已索引文档的可用数据。

支持的文件格式

• 文档：rtf、doc、xls、ppt及其变体
• 邮件：eml、emlx、msg
• 归档：zip、rar、7z、tar
• 文本文件
• HTML页面

安装

Snoop依赖lxml（需编译libxml2和libxslt）和psycopg2（需PostgreSQL客户端头文件）。在Debian/Ubuntu系统中，需安装build-essential、libmagic、python3-dev、libxml2-dev、libxslt1-dev及postgresql-server-dev-9.4（或更高版本）。

Snoop可与多种工具集成，部分工具用于处理特定格式或提供额外功能，详见“可选依赖”部分。

1. 创建虚拟环境并安装依赖：

   shell
   pip install -r requirements.txt
   

2. 配置：创建snoop/site/settings/local.py，可参考example_local.py模板，需设置以下项：

   • DATABASES：Django数据库配置
   • SNOOP_ROOT：文件转储路径
   • SNOOP_ELASTICSEARCH_URL：Elasticsearch服务地址
   • SNOOP_ELASTICSEARCH_INDEX：用于索引数据的Elasticsearch索引名
   • SNOOP_LOG_DIR：工作日志存储目录

3. 运行数据库迁移：

   shell
   ./manage.py migrate
   

快速开始

1. 遍历SNOOP_ROOT路径下的文件并在数据库中创建记录：

   shell
   ./manage.py walk
   

2. 选择待分析的文档（参数为SQL WHERE子句，true表示所有文档），添加至digest队列：

   shell
   ./manage.py digestqueue true
   

3. 运行digest worker处理队列（可并发运行多个进程）：

   shell
   ./manage.py worker digest
   

   成功处理的文档会自动加入index队列。

4. 创建/重置Elasticsearch索引：

   shell
   ./manage.py resetindex
   

5. 运行index worker将处理后的文档推至Elasticsearch：

   shell
   ./manage.py worker index
   

若需分析单个文档并查看JSON输出：

shell
./manage.py digest 123

可选依赖

Apache Tika（元数据提取）

用于文本、语言及元数据提取。下载Tika服务器jar包并运行：

shell
wget http://archive.apache.org/dist/tika/tika-server-1.17.jar
java -jar tika-server-1.17.jar

配置以下参数：

• SNOOP_TIKA_SERVER_ENDPOINT：Tika服务地址（默认http://localhost:9998/）
• SNOOP_TIKA_MAX_FILE_SIZE：文件大小限制（字节）
• SNOOP_TIKA_FILE_TYPES：需发送至Tika的文件类型列表（如['pdf', 'doc', 'ppt', 'text', 'xls']）
• SNOOP_ANALYZE_LANG：是否启用语言检测（True/False）

7z（归档提取）

用于处理归档文件，需安装p7zip-full和p7zip-rar：

shell
sudo apt-get install p7zip-full p7zip-rar

配置：

• SNOOP_SEVENZIP_BINARY：7z二进制路径（默认7z）
• SNOOP_ARCHIVE_CACHE_ROOT：归档提取缓存目录（需可写）

msgconvert（Outlook .msg邮件转换）

用于将.msg邮件转换为.eml格式，安装：

shell
cpanm --notest Email::Outlook::Message

配置：

• SNOOP_MSGCONVERT_SCRIPT：脚本路径（默认msgconvert）
• SNOOP_MSG_CACHE：缓存目录（需可写）

readpst（Outlook .pst/.ost邮件转换）

用于将.pst/.ost转换为mbox格式，安装：

shell
# Mac
brew install libpst
# Debian/Ubuntu
sudo apt-get install pst-utils

配置：

• SNOOP_READPST_BINARY：二进制路径（默认readpst）
• SNOOP_PST_CACHE_ROOT：缓存目录（需可写）

gpg（Hushmail类邮件解密）

配置：

• SNOOP_GPG_HOME：包含解密密钥的GPG主目录路径
• SNOOP_GPG_BINARY：gpg二进制路径