codeontap/logstash

Logstash日志转发镜像

镜像概述

本镜像基于Logstash构建，专注于将Docker容器日志和AWS云服务日志标准化后转发至ElasticSearch，并集成地理编码功能，实现日志的集中管理与地理位置分析。

核心功能与特性

• 多源日志收集：支持Docker容器日志（通过挂载容器日志目录）和AWS服务日志（如CloudWatch、S3等）
• ElasticSearch集成：将处理后的日志高效转发至ElasticSearch，支持索引自动创建与日志结构化存储
• 地理编码能力：内置IP地址地理信息解析功能，可提取日志中IP对应的国家、城市、经纬度等位置信息
• 日志处理流水线：支持日志过滤、字段提取、格式转换等预处理操作，确保日志数据标准化

使用场景与适用范围

• 容器化环境（Docker/Kubernetes）的日志集中收集与分析
• AWS云服务（EC2、S3、Lambda等）日志的统一存储与检索
• 需要基于IP地址进行地理位置分析的场景（如用户访问来源追踪、异常访问定位）
• 构建ELK（Elasticsearch, Logstash, Kibana）日志分析平台的关键组件

使用方法与配置说明

环境变量配置

Docker部署示例

bash
docker run -d \
  --name logstash-log-forwarder \
  -e ELASTICSEARCH_HOST=es-node-01.example.com \
  -e ELASTICSEARCH_PORT=9200 \
  -e AWS_ACCESS_KEY=AKIAEXAMPLEKEY \
  -e AWS_SECRET_KEY=example-secret-key-123456 \
  -e AWS_REGION=us-west-2 \
  -v /var/lib/docker/containers:/var/lib/docker/containers:ro \  # 挂载Docker容器日志目录（只读）
  -v /opt/geoip-db:/usr/share/logstash/geoip:ro \  # 挂载地理编码数据库
  logstash-forwarder:latest

Docker Compose配置示例

yaml
version: '3.8'
services:
  logstash:
    image: logstash-forwarder:latest
    container_name: logstash-log-forwarder
    environment:
      - ELASTICSEARCH_HOST=es-cluster.example.com
      - ELASTICSEARCH_PORT=9200
      - ELASTICSEARCH_USER=logstash_writer
      - ELASTICSEARCH_PASSWORD=secure-password-123
      - AWS_ACCESS_KEY=AKIAEXAMPLEKEY
      - AWS_SECRET_KEY=example-secret-key-123456
      - AWS_REGION=eu-central-1
    volumes:
      - /var/lib/docker/containers:/var/lib/docker/containers:ro
      - /opt/geoip-db:/usr/share/logstash/geoip:ro
    restart: unless-stopped
    networks:
      - elk-network

networks:
  elk-network:
    external: true

注意事项

1. 挂载Docker容器日志目录时需设置为只读模式（:ro），避免容器对日志文件的意外修改
2. 地理编码功能依赖MaxMind GeoIP数据库，需确保挂载目录包含有效数据库文件（如GeoLite2-City.mmdb）
3. AWS日志收集需确保提供的IAM密钥具有对应服务（如CloudWatch Logs）的读取权限
4. 首次启动时建议通过docker logs命令检查日志输出，确认ElasticSearch连接与日志处理状态