measurementlab/tcp-info

tcp-info

镜像概述和主要用途

tcp-info工具通过轮询循环跟踪系统中所有开放TCP socket的测量统计信息，数据以JSONL格式（内部称为ArchivedRecord）写入zstd压缩文件。该工具是基于Kubernetes的Measurement Lab平台众多测量功能的基础。

大多数用户会通过Docker容器运行此工具，支持数据持久化存储和Prometheus指标暴露。

核心功能和特性

• TCP socket监控：使用netlink API收集inet_diag消息，部分解析后缓存中间表示，检测扫描间的变化并记录变化的连接
• 数据格式：采用JSONL格式（ArchivedRecord）存储数据，替代原protobuf格式以减少维护开销并避免未解析数据丢失，数据文件通过zstd压缩
• Prometheus集成：支持通过指定端口暴露Prometheus指标
• 事件通知：提供eventsocket接口，允许sidecar服务通过Unix域套接字接收TCP连接的"打开"和"关闭"事件
• 可扩展性：提供解析库和命令行工具（如csvtool），支持将ArchivedRecord数据转换为CSV格式

使用场景和适用范围

• 网络性能监控：跟踪系统TCP连接的实时统计信息
• Kubernetes环境网络测量：作为Measurement Lab平台的基础组件，用于容器网络性能分析
• TCP连接行为分析：记录和分析TCP连接的建立、关闭及性能指标变化
• 网络故障排查：通过详细的TCP连接数据辅助诊断网络问题

使用方法和配置说明

前提条件

运行工具需安装zstd，可通过以下方式安装：

bash
# 方法1：使用脚本安装
bash <(curl -fsSL https://raw.githubusercontent.com/horta/zstd.install/master/install)

# 方法2：通过apt安装
sudo apt-get update && sudo apt-get install -y zstd

Docker运行示例

以下命令将数据写入~/data目录，并在7070端口暴露Prometheus指标：

bash
docker run --network=host -v ~/data:/home/ -it measurementlab/tcp-info -prom=7070

参数说明：

• --network=host：使用主机网络模式，确保能监控所有系统TCP socket
• -v ~/data:/home/：挂载本地目录到容器内，用于持久化存储数据
• -prom=7070：指定Prometheus指标暴露端口

Docker Compose示例（Sidecar服务）

tcp-info的eventsocket接口允许sidecar服务接收TCP连接事件。通过docker-compose启动示例sidecar服务：

bash
docker-compose up

示例sidecar服务example-eventsocket-client会处理新的TCP事件并记录到stderr。可通过以下命令在tcp-info容器内触发TCP连接：

bash
docker exec -it tcp-info_tcpinfo_1 wget www.google.com

解析工具：CSV转换

cmd/csvtool目录提供将ArchivedRecord数据转换为CSV格式的工具，从标准输入读取netlink-JSONL数据，输出CSV到标准输出：

bash
# 示例：将JSONL文件转换为CSV
cat archived_records.jsonl | csvtool > output.csv

代码结构

主要包功能

• inetdiag：与include/uapi/linux/inet_diag.h相关的代码，所有结构体定义在structs.go
• tcp：仅包含与include/uapi/linux/tcp.h相关的代码
• parse：解析inetdiag和tcp消息的代码
• zstd：zstd读写器实现
• saver：将解析后的消息写入文件的代码
• cache：缓存netlink消息并检测变化的代码
• collector：从内核收集netlink消息的代码

依赖关系（截至2019年3月）

• saver：依赖inetdiag、cache、parse、tcp、zstd
• collector：依赖parse、saver、inetdiag、tcp
• main.go：依赖collector、saver、parse（用于完整性检查）
• cache：依赖parse
• parse：依赖inetdiag

几乎所有包均使用metrics

main.go依赖层次（每层仅依赖右侧或更低层）

1. main.go
2. collector > saver > cache
3. netlink > inetdiag
4. tcp, zstd, metrics

parse包依赖层次

1. parse（用于命令行工具、ETL等）
2. netlink > inetdiag
3. tcp, zstd, metrics