T-Pot Logstash Docker镜像文档

一、镜像概述和主要用途

T-Pot Logstash Docker镜像是T-Pot - 一体化多蜜罐平台的核心组件之一。该镜像基于Elastic Stack的Logstash构建，专为T-Pot平台设计，用于集中收集、处理、转换和转发来自T-Pot各蜜罐组件（如SSH蜜罐、HTTP蜜罐、数据库蜜罐等）的日志数据，是T-Pot日志流水线中的关键处理节点。

二、核心功能和特性

2.1 核心功能

• 多源日志收集：支持从T-Pot平台内多种蜜罐服务（如Cowrie、Dionaea、ElasticHoney等）采集原始日志数据，兼容文件、网络端口、管道等多种输入源。
• 日志处理与转换：提供内置过滤规则，对原始日志进行结构化处理（如字段提取、格式转换、数据清洗），统一日志格式，便于后续分析和存储。
• T-Pot生态集成：与T-Pot平台的其他组件（如Elasticsearch、Kibana）深度集成，可将处理后的日志数据输出至Elasticsearch进行存储，或对接Kibana实现可视化分析。
• 可配置输出：支持自定义输出目标，除默认的Elasticsearch外，还可配置输出至文件、消息队列（如RabbitMQ）或外部SIEM系统。

2.2 特性

• 轻量级部署：基于Docker容器化设计，部署便捷，可快速集成到T-Pot现有环境。
• 灵活配置：支持通过配置文件（logstash.conf）自定义日志处理流程，满足不同场景的日志需求。
• 高兼容性：与T-Pot各版本（如T-Pot CE）及Logstash主流版本兼容，确保日志处理链路稳定。

三、使用场景和适用范围

3.1 典型使用场景

• T-Pot平台日志集中处理：作为T-Pot默认日志处理组件，统一接收、清洗和转发各蜜罐节点产生的原始日志。
• 蜜罐日志结构化与标准化：将非结构化/半结构化蜜罐日志（如原始TCP流量日志、命令执行日志）转换为JSON等结构化格式，便于检索和分析。
• 威胁分析数据预处理：对蜜罐日志进行过滤（如去除噪声数据）、 enrichment（如补充威胁情报标签），为后续安全分析（如攻击路径还原、恶意IP追踪）提供高质量数据。

3.2 适用范围

• 用户群体：安全研究员、威胁情报分析师、网络安全运维人员、蜜罐部署与管理人员。
• 部署环境：需与T-Pot平台其他组件（如蜜罐容器、Elasticsearch、Kibana）协同部署，依赖Docker及Docker Compose环境。

四、使用方法和配置说明

4.1 前置条件

• 已部署Docker及Docker Compose（推荐Docker 20.10+，Docker Compose 2.0+）。
• 已部署T-Pot平台基础环境（或独立部署Elasticsearch、Kibana等依赖组件，用于日志存储和可视化）。
• 具备T-Pot平台日志处理所需的配置文件（如logstash.conf，可从T-Pot官方仓库获取）。

4.2 快速启动（docker run）

通过docker run命令直接启动容器，需挂载自定义配置文件并配置必要环境变量（如Elasticsearch地址）：

docker run -d \
  --name tpot-logstash \
  --network tpot_network \  # 需与T-Pot其他组件在同一网络
  -e LOGSTASH_DEBUG=false \  # 日志调试模式，默认false
  -e ELASTICSEARCH_HOST=elasticsearch:9200 \  # Elasticsearch地址（T-Pot默认ES服务名）
  -e LOG_LEVEL=info \  # 日志级别（debug/info/warn/error）
  -v /path/to/tpot/logstash/config:/usr/share/logstash/pipeline \  # 挂载自定义配置文件
  -v /path/to/tpot/logs:/var/log/tpot \  # 挂载T-Pot蜜罐日志目录（若需从文件收集日志）
  telekomsecurity/tpot-logstash:latest

4.3 集成T-Pot Docker Compose部署

在T-Pot平台部署时，通常通过docker-compose.yml统一管理容器。以下为典型配置示例（片段）：

# docker-compose.yml（T-Pot环境）
version: '3.8'

services:
  logstash:
    image: telekomsecurity/tpot-logstash:latest
    container_name: tpot-logstash
    restart: always
    networks:
      - tpot_network
    depends_on:
      - elasticsearch  # 依赖Elasticsearch启动
    environment:
      - ELASTICSEARCH_HOST=elasticsearch:9200
      - ELASTICSEARCH_USER=elastic  # Elasticsearch认证用户（若启用）
      - ELASTICSEARCH_PASSWORD=changeme  # Elasticsearch认证密码（若启用）
      - LOG_LEVEL=info
    volumes:
      - ./config/logstash/pipeline:/usr/share/logstash/pipeline  # 挂载T-Pot默认Logstash配置
      - ./data/logstash:/usr/share/logstash/data  # 持久化Logstash数据（如sincedb）
      - ./logs:/var/log/tpot  # 挂载T-Pot蜜罐日志目录
    ports:
      - "5044:5044"  # Filebeat输入端口（若启用Filebeat采集日志）
    logging:
      driver: "json-file"
      options:
        max-size: "10m"
        max-file: "3"

networks:
  tpot_network:
    driver: bridge

4.4 配置参数说明

4.4.1 环境变量（必填/常用）

4.4.2 配置文件挂载

Logstash的核心配置通过logstash.conf定义，需挂载至容器内/usr/share/logstash/pipeline/目录。典型logstash.conf结构（T-Pot场景示例）：

# /path/to/config/logstash.conf
input {
  # 从T-Pot蜜罐文件日志收集（示例：Cowrie SSH蜜罐日志）
  file {
    path => "/var/log/tpot/cowrie/cowrie.json"
    start_position => "beginning"
    sincedb_path => "/usr/share/logstash/data/sincedb/cowrie"  # 记录文件读取位置
    codec => json  # 蜜罐日志为JSON格式
  }

  # 从网络端口收集（示例：Dionaea蜜罐通过TCP发送日志）
  tcp {
    port => 5000
    codec => json_lines
  }
}

filter {
  # 过滤无效日志（如空行）
  if [message] == "" {
    drop {}
  }

  # 补充T-Pot标签（标记日志来源蜜罐类型）
  if [path] =~ /cowrie/ {
    mutate { add_field => { "[tpot][honeypot]" => "cowrie" } }
  } elsif [port] == 5000 {
    mutate { add_field => { "[tpot][honeypot]" => "dionaea" } }
  }
}

output {
  # 输出至Elasticsearch（T-Pot默认存储）
  elasticsearch {
    hosts => ["${ELASTICSEARCH_HOST}"]
    user => "${ELASTICSEARCH_USER}"
    password => "${ELASTICSEARCH_PASSWORD}"
    index => "tpot-logs-%{+YYYY.MM.dd}"  # 按日期分索引
  }

  # 可选：输出至控制台（调试用）
  # stdout { codec => rubydebug }
}

五、注意事项

1. 网络配置：需确保Logstash容器与T-Pot其他组件（如蜜罐、Elasticsearch）在同一Docker网络，否则可能无法正常通信。
2. 配置文件权限：挂载的logstash.conf需确保容器内Logstash用户（默认uid=1000）有读取权限，避免因权限不足导致配置加载失败。
3. 资源需求：日志处理为CPU/内存密集型任务，建议根据日志量调整容器资源限制（如--memory=2g --cpus=1）。
4. 版本兼容性：需与T-Pot平台版本匹配（如T-Pot 2023.x对应Logstash 8.x版本镜像），具体参考T-Pot官方文档。