kentik/ktranslate

ktranslate 镜像文档

镜像概述

ktranslate 是一款轻量级数据转换工具，主要用于监听进出 Kentik 平台的数据流（kflow 格式），将其转换为 JSON、Avro、IPFIX、Prometheus 等通用数据格式，并支持数据过滤、聚合处理及分发至多种目标系统（如 stdout、文件、Kafka、New Relic、Splunk 等），适用于网络流量数据集成、监控与分析场景。

核心功能特性

1. 多格式数据转换

• 输入格式：仅支持 kflow（Kentik 专用流量数据格式）
• 输出格式：支持 JSON、Avro、IPFIX、Prometheus、Influx 等多种通用格式（默认：JSON）

2. 灵活的数据处理

• 数据过滤：支持基于维度（如源/目的IP、端口）的条件过滤，格式为 type dimension operator value
• 数据聚合：支持按指定维度（如目的地址、协议）聚合指标（如流量字节数），可配置聚合周期、Top K 结果导出等

3. 多目标数据输出

支持将转换后的数据输出至多种目标：

• 标准输出（stdout）
• 文件系统（指定目录）
• 消息队列（Kafka）
• 监控平台（New Relic、Prometheus、Splunk、Elastic）
• Kentik 平台本身

4. 监控与可观测性

• 内置健康检查接口，支持绑定指定网络接口监听健康状态
• 可配置发送收集器自身运行指标（-info_collector 开关）
• 支持 Prometheus 格式输出，默认暴露 8082 端口提供指标

5. 灵活配置

支持通过命令行参数（flags）配置所有功能，包括输出格式、目标地址、过滤规则、聚合策略等，无需复杂配置文件。

使用场景

1. 网络流量数据集成：将 Kentik 流量数据转换为 JSON/Avro 格式，集成至内部数据湖或日志系统
2. 多监控系统数据分发：同时将流量数据发送至 New Relic（性能监控）、Splunk（日志分析）和 Prometheus（指标监控）
3. 数据过滤与聚合分析：过滤非关键流量数据，聚合核心业务系统的流量指标（如按目的地址聚合入站字节数），减轻下游系统负载

使用方法

基本运行命令

bash
docker run -p 8082:8082 ktranslate

参数说明

以下为核心配置参数（flags）说明，完整参数见表格：

部署示例

示例 1：基本运行（输出 JSON 至 stdout）

bash
docker run -p 8082:8082 ktranslate

• 默认输出 JSON 格式至 stdout，暴露 8082 端口提供 Prometheus 指标

示例 2：输出至 Kafka 并启用数据聚合

bash
docker run -p 8082:8082 ktranslate \
  -format avro \
  -sinks kafka \
  -bootstrap.servers "kafka-broker:9092" \
  -kafka_topic "kentik-flows" \
  -rollups "sum,in_bytes,dst_addr" \
  -rollup_export 60 \
  -rollup_top_k 20

• 功能：将 kflow 转换为 Avro 格式，按目的地址聚合入站字节数（每 60 秒导出 Top 20 结果），发送至 Kafka 主题 kentik-flows

示例 3：输出 Prometheus 格式并启用健康检查

bash
docker run -p 8082:8082 -p 8080:8080 ktranslate \
  -format prometheus \
  -sinks prometheus \
  -healthcheck ":8080" \
  -info_collector

• 功能：转换为 Prometheus 格式，暴露 8082 端口提供指标，绑定 8080 端口提供健康检查，同时发送收集器自身运行指标

示例 4：过滤特定流量并输出至文件

bash
docker run -v /data/kentik-flows:/output ktranslate \
  -format json \
  -sinks file \
  -file_out "/output" \
  -filters "include dst_port eq 443"

• 功能：过滤目的端口为 443（HTTPS）的流量，转换为 JSON 格式并保存至宿主机 /data/kentik-flows 目录

注意事项

• 部分功能（如 Kafka 连接、地理映射）需提前准备相关配置文件（如 ASN 映射文件、城市映射文件），并通过 -asn4、-city 等参数指定文件路径
• 输出至外部系统（如 New Relic、Splunk）时，需确保容器网络可访问目标系统，并配置正确的认证信息（如 HTTP 头 -http_header）
• 高流量场景下建议配置压缩（-compression）和采样率（-sample_rate）以降低网络带宽占用