elastiflow/flow-collector

概述

ElastiFlow Unified Flow Collector 是一款网络流数据处理工具，能够收集、转换、规范化、翻译和丰富来自 Netflow、IPFIX 及 sFlow 源的网络流记录，并可将处理后的记录发送至 Elasticsearch 等数据平台。

核心特性

• 多源数据采集：支持 Netflow（v1/v5/v6/v7/v9）、IPFIX、sFlow（v5）及 AWS VPC 流日志等多种网络流数据输入。
• 数据处理能力：提供数据转换、规范化、字段丰富（如 ASN、GeoIP、DNS 解析、Community ID 生成等）及元数据增强功能。
• 多平台输出：支持将处理后的数据发送至 Elasticsearch、Kafka、Splunk HEC、Cribl、HTTP 服务等多种数据平台。
• 灵活配置：通过环境变量配置输入端口、处理规则、输出目标、日志级别及安全认证等参数。

使用场景

• 企业网络流量监控与分析
• 网络性能瓶颈定位与优化
• 网络安全威胁检测与审计
• 云环境（如 AWS VPC）流量可视化

Docker 部署示例

以下是使用 docker-compose 部署容器的示例配置。完整配置及详细说明请参考官方文档。

yaml
services:
  flow-collector:
    image: elastiflow/flow-collector:7.17.0
    container_name: flow-collector
    restart: 'unless-stopped'
    network_mode: 'host'
    volumes:
      - /etc/elastiflow:/etc/elastiflow
      - /usr/share/elastiflow/flowcoll:/var/lib/elastiflow/flowcoll
    environment:
      # 许可配置
      EF_LICENSE_ACCEPTED: "false"  # 需设置为"true"以接受许可协议
      EF_INSTANCE_NAME: default

      # API 配置
      EF_API_IP: 0.0.0.0
      EF_API_PORT: 8080

      # 日志配置
      EF_LOGGER_ENCODING: json
      EF_LOGGER_FILE_LOG_ENABLE: "false"
      EF_LOGGER_LEVEL: info

      # 输入配置
      EF_FLOW_SERVER_UDP_IP: 0.0.0.0
      EF_FLOW_SERVER_UDP_PORT: 2055,4739,6343,9995  # 监听的UDP端口（Netflow/sFlow默认端口）

      # 数据处理配置
      EF_PROCESSOR_ENRICH_COMMUNITYID_ENABLE: "true"
      EF_PROCESSOR_ENRICH_CONVERSATIONID_ENABLE: "true"

      # 输出配置（示例：Elasticsearch）
      EF_OUTPUT_ELASTICSEARCH_ADDRESSES: 127.0.0.1:9200
      EF_OUTPUT_ELASTICSEARCH_ENABLE: "false"  # 启用需设置为"true"
      EF_OUTPUT_ELASTICSEARCH_USERNAME: elastic
      EF_OUTPUT_ELASTICSEARCH_PASSWORD: changeme
      EF_OUTPUT_ELASTICSEARCH_INDEX_TEMPLATE_SHARDS: 3
      EF_OUTPUT_ELASTICSEARCH_INDEX_TEMPLATE_REPLICAS: 1

      # 其他输出目标（Kafka/Splunk等）配置略，详见官方文档

配置说明

容器通过环境变量进行配置，关键参数包括许可接受状态、输入端口、数据处理规则及输出目标等。完整配置项及详细说明请参考ElastiFlow 官方文档。