cccs/assemblyline-service-urldownloader

URLDownloader Service 镜像文档

镜像概述和主要用途

URLDownloader Service 是 Assemblyline 框架的一部分，用于下载潜在***的URL。该服务基于Java程序 https://github.com/CybercentreCanada/kangooroo 实现其核心功能。

核心功能和特性

• 使用真实Chrome实例模拟人类行为下载URL，获取更全面的信息
• 支持配置代理服务器，可选择或强制使用特定代理
• 可自定义浏览器设置，包括用户代理、窗口大小和请求头
• 支持使用Python Requests库进行简单直接的URL获取
• 灵活的配置覆盖机制，支持管理员默认配置与用户自定义配置结合

使用场景和适用范围

该服务专为Assemblyline框架设计，主要用于：

• 安全分析中潜在***URL的获取和分析
• 模拟不同客户端环境下载URL内容
• 需要模拟人类浏览行为的URL采集场景
• 网络威胁情报收集与分析

镜像变体和标签

Assemblyline服务基于 https://hub.docker.com/r/cccs/assemblyline-v4-service-base 构建，该基础镜像基于Debian 11并包含Python 3.11。

Assemblyline服务使用以下标签定义：

使用方法和配置说明

本地测试运行

若需本地测试此服务，可直接从shell运行Docker镜像：

bash
docker run \
    --name URLDownloader \
    --env SERVICE_API_HOST=http://`ip addr show docker0 | grep "inet " | awk '{print $2}' | cut -f1 -d"/"`:5003 \
    --network=host \
    cccs/assemblyline-service-urldownloader

添加到Assemblyline部署

要将此服务添加到Assemblyline部署中，请遵循https://cybercentrecanada.github.io/assemblyline4_docs/developer_manual/services/run_your_service/#add-the-container-to-your-deployment%E3%80%82

服务配置

管理员可通过访问 Administration > Services 页面，点击 URLDownloader（或直接访问 /admin/services/URLDownloader）进入配置页面。"服务变量"和"用户指定参数"可在"参数"标签页中找到。

代理配置

URLDownloader服务可配置使用零到多个代理，并允许用户从代理列表中选择。管理员可通过配置单个代理条目使其成为强制使用的代理。URLDownloader不会基于系统配置自动检测代理。

通过URLDownloader配置页面的"服务变量"部分，使用proxies [json]和proxy [list]配置代理设置：

1. 创建新的代理条目，格式如下：

   json
   {
     "my_proxy": {
       "http": "http://proxy.example.com:8080",
       "https": "https://proxy.example.com:8080"
     }
   }
   

2. 若所有协议使用相同代理，可使用简化字符串格式：

   json
   {
     "my_proxy": "http://proxy.example.com:8080"
   }
   

3. 在"用户指定参数"下的proxy [list]中添加代理名称，供用户选择。带星号的条目为默认选项，删除其他条目可强制使用单个代理。

浏览器设置修改

可配置以下浏览器设置：

• 用户代理(user_agent)：请求头中的User-Agent值
• 窗口大小(window_size)：浏览器的屏幕分辨率
• 请求头(headers/request_headers)：用于获取URL的请求头

管理员可在URLDownloader配置页面的"服务变量"部分设置这些参数的默认值，通过default_browser_settings [json]配置项。

默认浏览器设置示例：

json
{
    "window_size": "375x812",
    "user_agent": "Mozilla/5.0 (iPhone; CPU iPhone OS 14_6 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/14.0.3 Mobile/15E148 Safari/604.1",
    "request_headers": {
        "Sec-CH-UA-Mobile": "?1"
    }
}

用户可通过提交Assemblyline URI文件，按URL提交覆盖默认设置：

Assemblyline URI文件示例：

# Assemblyline URI file
uri: https://sample_webpage.com/

browser_settings:
    window_size: 1280x720
    user_agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/537.36

# request headers
headers:
    test-platform: Windows

配置优先级规则：

• URI文件中设置的值会覆盖default_browser_settings中的默认值
• 用户可仅修改相关设置，未修改的设置将使用默认值
• 若同时在browser_settings.user_agent和headers中定义User-Agent，仅headers中的值会被使用
• URI文件中定义的额外字段将被忽略

用户可通过查看文件Service Results > URLDownloader > Supplementary files > results.json (kangooroo Result Output)检查每次提交使用的设置。

使用Python Requests

URLDownloader服务默认使用Kangooroo处理GET请求，模拟人类行为。若用户只需简单获取URL，可使用force_requests提交参数，强制使用Requests库进行单次直接获取，避免Kangooroo执行带来的开销。

文档参考

• Assemblyline官方文档: https://cybercentrecanada.github.io/assemblyline4_docs/
• Kangooroo项目: https://github.com/CybercentreCanada/kangooroo
• Assemblyline service base image: https://hub.docker.com/r/cccs/assemblyline-v4-service-base