wizbii/logstash

Wizbii logstash 镜像文档

镜像概述

Wizbii logstash镜像是一个基于Logstash的定制化镜像，核心特点是集成了https://github.com/wizbii/logstash-output-algolia%E3%80%82%E8%AF%A5%E6%8F%92%E4%BB%B6%E5%85%81%E8%AE%B8Logstash%E5%B0%86%E5%A4%84%E7%90%86%E5%90%8E%E7%9A%84%E6%97%A5%E5%BF%97%E6%95%B0%E6%8D%AE%E7%9B%B4%E6%8E%A5%E5%8F%91%E9%80%81%E8%87%B3Algolia%E6%90%9C%E7%B4%A2%E5%BC%95%E6%93%8E%EF%BC%8C%E5%AE%9E%E7%8E%B0%E6%97%A5%E5%BF%97%E6%95%B0%E6%8D%AE%E7%9A%84%E5%BF%AB%E9%80%9F%E7%B4%A2%E5%BC%95%E5%92%8C%E9%AB%98%E6%95%88%E6%90%9C%E7%B4%A2%E3%80%82

核心功能与特性

• 集成Algolia输出插件：内置logstash-output-algolia插件，无需额外安装即可使用
• Logstash基础功能：保留Logstash的完整数据收集、过滤、转换能力
• 无缝对接Algolia：支持将处理后的日志数据直接推送到Algolia索引，实现数据实时搜索

使用场景

• 需要将应用日志、系统日志等数据索引到Algolia进行快速搜索的场景
• 日志数据的实时分析与检索需求
• 构建基于日志数据的搜索服务或监控系统

使用方法

基本使用（Docker Run）

bash
docker run -d \
  --name wizbii-logstash \
  -v /path/to/your/logstash/config:/usr/share/logstash/pipeline \
  wizbii/logstash

配置说明

1. Logstash配置文件：需在挂载的pipeline目录中创建logstash.conf，配置输入、过滤和输出部分。

2. Algolia输出插件配置示例：

ruby
output {
  algolia {
    app_id => "YOUR_ALGOLIA_APP_ID"
    api_key => "YOUR_ALGOLIA_API_KEY"
    index => "your-index-name"
    # 可选：指定文档ID字段
    document_id => "%{[@metadata][_id]}"
    # 可选：批量发送配置
    batch_size => 1000
    batch_timeout => 5
  }
}

3. 环境变量：可通过环境变量传递Algolia配置（需在Logstash配置中引用）：

bash
docker run -d \
  --name wizbii-logstash \
  -v /path/to/your/logstash/config:/usr/share/logstash/pipeline \
  -e ALGOLIA_APP_ID="YOUR_ALGOLIA_APP_ID" \
  -e ALGOLIA_API_KEY="YOUR_ALGOLIA_API_KEY" \
  -e ALGOLIA_INDEX="your-index-name" \
  wizbii/logstash

在Logstash配置中引用环境变量：

ruby
output {
  algolia {
    app_id => "${ALGOLIA_APP_ID}"
    api_key => "${ALGOLIA_API_KEY}"
    index => "${ALGOLIA_INDEX}"
  }
}

Docker Compose示例

yaml
version: '3'
services:
  logstash:
    image: wizbii/logstash
    volumes:
      - ./logstash/pipeline:/usr/share/logstash/pipeline
    environment:
      - ALGOLIA_APP_ID=YOUR_ALGOLIA_APP_ID
      - ALGOLIA_API_KEY=YOUR_ALGOLIA_API_KEY
      - ALGOLIA_INDEX=your-index-name
    ports:
      - "5044:5044"  # Beats输入端口
      - "9600:9600"  # 监控API端口