terratrax/scannerapi

Skyhigh Scanner API 镜像文档

概述

本项目为Skyhigh Web Gateway（反***）和Skyhigh Cloud（数据分类）提供的反和数据分类服务提供REST API前端。该API接受URL或S3 UTI作为输入，并提供JSON格式的扫描响应。C#代码可以直接作为Azure Function运行，或在任何可以运行Docker容器的环境中运行，以提供处理同步反和分类/DLP请求的可扩展微服务。

核心功能和特性

• 提供REST API接口访问Skyhigh反***和数据分类服务
• 支持URL和S3 UTI作为扫描输入
• 返回JSON格式的扫描结果
• 可作为Azure Function或Docker容器运行
• 支持文件缓存到磁盘以处理大型文件扫描
• 提供可扩展的微服务架构

使用场景和适用范围

• 集成反***扫描功能到现有应用程序
• 为云存储服务（如AWS S3）提供文件安全扫描
• 构建自定义数据泄露防护(DLP)解决方案
• 需要可扩展***扫描能力的企业环境
• 希望通过REST API而非直接ICAP协议访问安全服务的场景

安装与配置

Docker 部署

运行容器时，需要传递几个环境变量，以便API知道在哪里发出ICAP请求：

bash
docker run -it -p [port]:80 --name MalwareScanner \
  -e ICAPSERVER=[YOUR_ICAP_SERVER] \
  -e ICAPPORT=[YOUR_ICAP_PORT] \
  -e ICAPCLIENT=[YOUR_ICAP_CLIENT] \
  skyhighsecurity/scannerapi:latest

注意：ICAPCLIENT变量是提交给ICAP服务器的IP/主机（仅用于日志记录），必须从容器中可访问。

Azure 无服务器函数部署

只需将ScannerAPI.cs复制到您的Azure函数中，并根据您的配置编辑ICAPServer、ICAPClient和sICAPPort参数。

使用方法

ScannerAPI依赖于Microsoft Azure Functions框架，因此端点格式如下：

http://[HOST]:[PORT]/api/[endpoint]?usefilecache=[True|False]&[url|s3uri]=[URL_OR_S3URI_TO_SCAN]

目前支持AVScan端点，DLPScan端点为实验性。

使用示例

扫描HTTP对象的*示例：**

http://myhost:80/api/AVScan?url=http://mystore.myco.com/files/abc123.zip

扫描AWS S3中的对象示例：

http://myhost:80/api/AVScan?s3uri=s3://mybucket/abc123.zip

扫描大型文件（使用磁盘缓存）：

http://myhost:80/api/AVScan?usefilecache=True&url=http://mystore.myco.com/files/abc123.zip

响应格式

API将返回如下JSON格式的结果：

json
{
  "Filename": "putty-64bit-0.75-installer.msi",
  "Infected": false,
  "InfectionName": null,
  "HasError": false,
  "ErrorMessage": null
}

数据分类功能

数据分类目前处于实验阶段/未正式文档化，需要将Skyhigh Cloud凭据和DLP策略ID作为环境变量传递。

常见问题(FAQ)

为什么不直接调用ICAP服务器？

虽然ICAP是RFC 3507定义的标准，但由于其独特的响应风格（旨在通过Web网关向最终用户显示），现代应用程序难以使用。目前没有处理ICAP响应的标准化库，因此每个需要反***/DLP功能的应用程序都必须编写此功能。使用本项目允许开发人员使用熟悉的REST API。

可以使用HTTPS吗？

由于调用者和API端点不直接交换文件（仅交换URL和结果），大多数用例不需要HTTPS。但是，如果仍想使用HTTPS，建议实施反向代理或API网关作为最佳实践。

可以通过HTTP流直接提交文件吗？

目前未实现此功能。一种更安全的方法是先将文件保存到Blob存储，为文件生成预签名URL（或SAS令牌），然后将该URL提交给API进行扫描。如果有直接提交文件的用例，请联系项目团队，我们可以考虑添加此功能。

可以使用此工具扫描S3存储桶中的文件吗？

是的，这是一个常见用例。通常的策略是使用AWS Lambda等工具在文件添加到S3存储桶时调用API。在https://github.com/terratrax/LambdaMalwareSorterS3%E4%B8%AD%E6%8F%90%E4%BE%9B%E4%BA%86%E4%B8%80%E4%B8%AA%E5%B0%86%E6%96%87%E4%BB%B6%E5%88%86%E7%B1%BB%E5%88%B0%22%E5%B9%B2%E5%87%80%22%E5%92%8C%22%E8%84%8F%22%E5%AD%98%E5%82%A8%E6%A1%B6%E7%9A%84%E7%A4%BA%E4%BE%8B%E3%80%82

如何利用DLP/数据分类功能？

此功能目前处于实验阶段且未正式文档化。

在Amazon ECS或其他托管容器服务上运行时，容器立即停止

在服务容器配置中指定入口点"/azure-functions-host/Microsoft.Azure.WebJobs.Script.WebHost"。

如何将临时文件（当扫描指定usediskcache=True时）写入容器外部的存储

使用卷，使容器的/tmp目录引用外部卷。