hortonworks/logstash-solr-beats

dps-logsearch镜像说明

镜像概述

本镜像包含Logstash（带有solr_http和beats插件）、Solr、LogSearch门户及LogFeeder组件，用于实现日志的收集、处理、索引存储和搜索功能，支持组件单独启动或整体部署。

核心功能

1. 日志收集：通过Logstash的beats插件接收多源日志数据
2. 日志处理：对日志进行过滤、转换、格式化等处理
3. Solr索引：将处理后的日志存储到Solr中，提供高效全文搜索
4. 灵活部署：可单独启动Solr、LogSearch或LogFeeder组件，适配不同场景
5. 配置定制：通过环境变量和卷挂载修改配置文件，满足个性化需求

使用场景

• 企业级日志集中管理与实时监控
• 应用系统日志分析与故障排查
• 多服务日志统一检索与统计

配置说明

环境变量（默认值）

bash
LOGSEARCH_JAVA_MEM=${LOGSEARCH_JAVA_MEM:-"-Xmx1024m"}  # LogSearch内存设置
LOGFEEDER_JAVA_MEM=${LOGFEEDER_JAVA_MEM:-"-Xmx512m"}  # LogFeeder内存设置
SOLR_JAVA_MEM=${SOLR_JAVA_MEM:-"-Xms1024m -Xmx2048m"} # Solr内存设置
COMPONENT=${COMPONENT:-"ALL"}  # 启动组件（solr/logsearch/logfeeder/ALL）
ZK_CONNECT_STRING=${ZK_CONNECT_STRING:-""} # ZooKeeper连接串（组件单独启动时使用）
LOGSEARCH_USE_PROXY=${LOGSEARCH_USE_PROXY:-"true"} # LogSearch是否启用代理模式

容器内配置路径

• /root/config/logsearch：LogSearch配置目录
• /root/config/logfeeder：LogFeeder配置目录
• /root/config/solr：Solr配置目录
  可通过卷挂载替换指定配置文件。

数据文件夹

• /hadoop/zookeeper：嵌入式ZooKeeper数据目录（随Solr启动）
• /root/logsearch_solr_index/data：Solr索引数据目录
• /root/checkpoints/：LogFeeder检查点目录（记录日志读取进度）

部署示例

构建镜像

bash
docker build -t dps-logsearch:v1.0 .

整体启动容器

bash
docker run -d --name logsearch dps-logsearch:v1.0
# 端口说明：Solr=8886、Solr JMX=18886、嵌入式ZooKeeper=9983、LogSearch=61888

组件单独启动

1. 创建Docker网络

bash
docker network create --driver bridge mynet

2. 启动Solr（含嵌入式ZooKeeper）

bash
docker run -d --name solr --net mynet -e COMPONENT="solr" -p 8886:8886 -p 9983:9983 dps-logsearch:v1.0

3. 启动LogSearch门户（非代理模式）

bash
docker run -d --name logsearch --net mynet -e COMPONENT="logsearch" -p 61888:61888 -e LOGSEARCH_USE_PROXY="false" -e ZK_CONNECT_STRING="solr:9983" dps-logsearch:v1.0

4. 启动LogFeeder（挂载日志目录）

bash
docker run -d --name logfeeder --net mynet -e COMPONENT="logfeeder" -v /my/path/logs:/deployment-logs -e ZK_CONNECT_STRING="solr:9983" dps-logsearch:v1.0

docker-compose部署

bash
docker-compose up -d
# 数据目录说明：
# - ZooKeeper数据：/data
# - Solr索引：/opt/solr/server/solr
# - LogFeeder检查点：/root/checkpoints/