tenzir/vast

VAST — 时空全域可见性

网络遥测引擎，助力数据驱动的安全调查。

镜像概述和主要用途

VAST（Visibility Across Space and Time）是一款专为网络安全领域设计的网络遥测引擎，旨在为数据驱动的安全调查提供高效解决方案。它能够处理大规模网络数据，支持多种日志格式的摄入、快速查询分析以及灵活的数据导出，帮助安全分析师高效开展网络取证和事件响应工作。

核心功能与特性

高吞吐量数据摄入

• 支持每秒超过10万事件的摄入能力
• 兼容多种日志格式，包括Zeek、Suricata、JSON和CSV

低延迟查询

• 基于多级位图索引和 actor 模型并发，实现亚秒级响应时间
• 支持对整个数据湖进行即时指标检查

灵活的数据导出

• 支持常见文本格式（ASCII、JSON、CSV）
• 支持二进制格式（MRT、PCAP）
• 通过 Apache Arrow 实现零复制中继，便于下游分析

强大的数据模型与查询语言

• 通用半结构化数据模型，支持类型化表达复杂数据
• 类 grep 和 awk 的直观查询语言，支持IP地址前缀搜索、子集关系等领域特定操作

模式关联

• 支持相关事件间的导航，例如从IDS警报提取PCAP，或查找特定查询的所有相关日志

使用场景和适用范围

• 网络安全监控：实时收集和分析网络流量日志
• 安全事件响应：快速查询和定位安全事件相关数据
• 网络取证分析：对历史网络数据进行深度调查
• 威胁狩猎：通过灵活查询语言主动发现潜在威胁
• 合规审计：满足网络安全相关合规要求的数据收集与分析

使用方法和配置说明

获取VAST

Linux用户可通过浏览器或cURL下载最新静态二进制版本：

sh
curl -L -O https://storage.googleapis.com/tenzir-public-data/vast-static-builds/vast-static-latest.tar.gz

解压归档文件，包含bin、etc和share三个文件夹：

sh
tar xfz vast-static-latest.tar.gz
bin/vast --help

如需本地安装，可将解压后的目录放置到安装前缀（如/usr/local）。更多平台特定的构建和安装说明，请参考安装指南。

快速开始

启动VAST节点

sh
vast start

摄入Zeek日志

sh
zcat *.log.gz | vast import zeek

查询最近一小时数据（JSON格式）

sh
vast export json ':timestamp > 1 hour ago && (6.6.6.6 || 5353/udp)'

摄入PCAP文件（流截断为1024字节）

sh
vast import pcap -c 1024 < trace.pcap

查询PCAP数据并通过tcpdump查看

sh
vast export pcap "sport > 60000/tcp && src !in 10.0.0.0/8" \
  | ipsumdump --collate -w - \
  | tcpdump -r - -nl

许可证与科学引用

VAST采用https://raw.github.com/vast-io/vast/master/COPYING%E3%80%82%E5%9C%A8%E7%A7%91%E5%AD%A6%E6%96%87%E7%8C%AE%E4%B8%AD%E5%BC%95%E7%94%A8VAST%E6%97%B6%EF%BC%8C%E8%AF%B7%E4%BD%BF%E7%94%A8%E4%BB%A5%E4%B8%8B%E6%A0%BC%E5%BC%8F%EF%BC%9A

bibtex
@InProceedings{nsdi16:vast,
  author    = {Matthias Vallentin and Vern Paxson and Robin Sommer},
  title     = {{VAST: A Unified Platform for Interactive Network Forensics}},
  booktitle = {Proceedings of the USENIX Symposium on Networked Systems
               Design and Implementation (NSDI)},
  month     = {March},
  year      = {2016}
}

可从NSDI '16会议论文集下载论文。

由Tenzir开发 ❤️