ciscocloud/logstash

docker-logstash

镜像概述和主要用途

docker-logstash是一个包含Logstash 1.5的Docker镜像，主要用于日志的收集、处理和转发。通过容器化部署，提供便捷的日志管理解决方案，支持自定义配置以适应不同的日志处理需求。

核心功能和特性

• 基于Logstash 1.5稳定版本构建
• 内置Logentries和WebHDFS插件，扩展日志输出能力
• 支持挂载本地配置文件目录，实现自定义Logstash配置
• 轻量级容器化设计，便于快速部署和集成

使用场景和适用范围

适用于需要集中化日志管理的场景，包括但不限于：

• 应用系统日志的集中收集与处理
• 将日志转发至Logentries平台进行分析
• 通过WebHDFS插件将日志存储到Hadoop分布式文件系统
• 开发和测试环境中的日志流处理验证

使用方法和配置说明

构建镜像

通过以下命令从源码构建镜像：

bash
git clone https://github.com/CiscoCloud/docker-logstash.git
cd docker-logstash
docker build -t ciscocloud/docker-logstash .

运行容器

使用以下命令启动Logstash容器，挂载本地配置目录：

bash
docker run --rm -it --name logstash \
  -v $PWD/conf.d:/opt/logstash/conf.d \
  ciscocloud/docker-logstash

说明：-v $PWD/conf.d:/opt/logstash/conf.d参数将本地conf.d目录挂载到容器内的Logstash配置目录，用于加载自定义的日志处理规则。

测试容器

1. 拉取Ubuntu测试镜像：

bash
docker pull ubuntu

2. 运行Ubuntu容器并链接到Logstash容器：

bash
docker run --rm -it --link logstash:logstash ubuntu /bin/bash

3. 在Ubuntu容器内配置rsyslog转发日志：

   • 编辑rsyslog.conf文件，在末尾添加：

   *.* @@<hostname>:5514
   

   （将<hostname>替换为Logstash容器的主机名或IP地址）

   • 重启rsyslog服务：

   bash
   service rsyslog restart
   

   • 退出容器：

   bash
   exit
   

内置插件

• Logentries：与Logentries日志管理平台集成，支持将日志直接发送至该平台进行分析和存储
• WebHDFS：基于https://github.com/dstore-dbap/logstash-webhdfs%E9%A1%B9%E7%9B%AE%EF%BC%8C%E6%94%AF%E6%8C%81%E5%B0%86%E5%A4%84%E7%90%86%E5%90%8E%E7%9A%84%E6%97%A5%E5%BF%97%E5%86%99%E5%85%A5Hadoop%E5%88%86%E5%B8%83%E5%BC%8F%E6%96%87%E4%BB%B6%E7%B3%BB%E7%BB%9F