patrickdk/logstash

Logstash with OpenSearch Output for AWS (v1.1)

镜像概述

本镜像基于Logstash构建，专门集成了针对AWS环境的OpenSearch输出插件，版本为v1.1。它提供了日志数据的收集、过滤、转换和输出能力，重点优化了与AWS OpenSearch服务的集成，简化了在AWS环境中日志数据流向OpenSearch的配置流程。

核心功能和特性

• Logstash基础功能：支持日志数据的收集（如文件、网络、消息队列等）、过滤（如字段提取、格式转换、数据清洗）和处理
• AWS OpenSearch集成：内置OpenSearch输出插件，优化了与AWS OpenSearch服务的通信
• 版本信息：当前稳定版本为v1.1，确保与主流Logstash和OpenSearch版本兼容
• 配置简化：减少了AWS环境下的认证和连接配置复杂度

使用场景和适用范围

• AWS云环境中的日志集中管理与分析
• 需要将应用日志、系统日志、服务日志等数据输出到AWS OpenSearch的场景
• 日志数据的实时处理与索引构建，支持后续通过OpenSearch进行检索和可视化
• 适用于中小规模日志处理需求，可根据业务扩展进行水平扩展

使用方法和配置说明

基本使用（Docker Run）

bash
docker run -d \
  --name logstash-aws-opensearch \
  -v /path/to/logstash/config:/usr/share/logstash/config \
  -v /path/to/pipeline:/usr/share/logstash/pipeline \
  logstash-aws-opensearch:v1.1

关键配置说明

1. 日志管道配置（pipeline）

在挂载的pipeline目录中创建.conf文件，示例配置（输出到AWS OpenSearch）：

ruby
input {
  # 配置输入源，如file、beats等
  file {
    path => "/var/log/application/*.log"
    start_position => "beginning"
  }
}

filter {
  # 配置过滤规则，如json解析、字段添加等
  json {
    source => "message"
  }
}

output {
  opensearch {
    hosts => ["https://your-opensearch-endpoint.amazonaws.com:443"]
    index => "application-logs-%{+YYYY.MM.dd}"
    aws_access_key_id => "${AWS_ACCESS_KEY_ID}"
    aws_secret_access_key => "${AWS_SECRET_ACCESS_KEY}"
    aws_region => "us-east-1"
    ssl => true
  }
}

2. 环境变量配置

可通过环境变量注入关键配置参数：

• AWS_ACCESS_KEY_ID：AWS访问密钥ID（用于OpenSearch认证）
• AWS_SECRET_ACCESS_KEY：AWS密钥（用于OpenSearch认证）
• AWS_REGION：AWS区域（如us-east-1、eu-west-1等）
• OPENSEARCH_HOST：AWS OpenSearch服务端点（可选，可直接在pipeline中配置）

3. Docker Compose示例

yaml
version: '3'
services:
  logstash:
    image: logstash-aws-opensearch:v1.1
    container_name: logstash-aws-opensearch
    volumes:
      - ./logstash/config:/usr/share/logstash/config
      - ./logstash/pipeline:/usr/share/logstash/pipeline
    environment:
      - AWS_ACCESS_KEY_ID=your_access_key
      - AWS_SECRET_ACCESS_KEY=your_secret_key
      - AWS_REGION=us-east-1
    restart: unless-stopped

注意事项

• 确保AWS IAM用户拥有访问OpenSearch服务的权限（如AmazonOpenSearchServiceFullAccess或自定义权限）
• 根据日志量调整Logstash的JVM内存配置（通过修改/usr/share/logstash/config/jvm.options）
• 定期备份日志管道配置和数据，避免配置丢失
• 版本v1.1兼容Logstash 7.x系列和AWS OpenSearch Service 1.x-2.x版本