apache/ambari-logsearch-logfeeder

Ambari Logsearch Logfeeder Docker镜像文档

1. 镜像概述

Ambari Logsearch Logfeeder是Apache Ambari日志管理生态的核心组件，作为日志采集器，负责从Hadoop集群各节点收集、过滤、格式化日志数据，并将处理后的日志转发至Ambari Logsearch服务，实现分布式环境下的日志集中化管理。该镜像封装了Logfeeder的运行环境，简化部署流程，适用于基于Docker的Ambari集群部署场景。

2. 核心功能与特性

2.1 日志采集能力

• 支持多类型日志源：可采集Hadoop生态组件（HDFS、YARN、MapReduce等）日志、系统日志、应用自定义日志
• 实时采集：基于文件尾行监控（tail -f模式），实现近实时日志数据捕获
• 路径配置灵活：支持通过配置文件或环境变量指定待采集日志路径

2.2 日志处理与转发

• 日志格式化：支持自定义日志格式转换，适配Logsearch服务的索引要求
• 元数据附加：自动添加主机名、组件名、日志类型等元数据，提升日志检索维度
• 可靠转发：采用缓冲机制确保日志不丢失，支持TCP协议转发至Logsearch服务

2.3 配置与扩展

• 轻量化设计：镜像体积小，资源占用低，适合在集群各节点部署
• 配置外部化：支持通过挂载配置文件或环境变量注入自定义采集规则
• 兼容性：适配Ambari 2.5+及Logsearch 2.0+版本

3. 使用场景与适用范围

3.1 典型场景

• Hadoop集群日志集中管理：统一收集分布式Hadoop集群中各节点、各组件的日志数据
• 实时日志监控：配合Ambari Logsearch实现日志实时检索与告警
• 故障排查与审计：通过集中日志快速定位集群异常，支持历史日志回溯分析

3.2 适用范围

• 基于Apache Ambari管理的Hadoop集群
• 需进行分布式日志集中化管理的大数据平台
• 对日志实时性、完整性有要求的生产环境

4. 使用方法与配置说明

4.1 基础部署（Docker Run）

bash
docker run -d \
  --name ambari-logfeeder \
  --network=ambari-network \  # 需与Ambari Logsearch服务在同一网络
  -v /var/log/hadoop:/var/log/hadoop:ro \  # 挂载待采集日志目录（只读）
  -e LOGSEARCH_HOST=logsearch-service \  # Ambari Logsearch服务主机名/IP
  -e LOGSEARCH_PORT=6188 \  # Ambari Logsearch接收端口（默认6188）
  -e FEEDER_HOSTNAME=node1.example.com \  # 当前节点主机名（用于日志元数据）
  -e LOG_PATHS="/var/log/hadoop/hdfs,/var/log/hadoop/yarn" \  # 待采集日志路径列表（逗号分隔）
  apache/ambari-logsearch-logfeeder:latest

4.2 核心环境变量配置

4.3 高级配置（挂载自定义规则文件）

如需自定义日志采集规则（如日志格式、过滤条件），可通过挂载配置文件实现：

bash
docker run -d \
  --name ambari-logfeeder \
  --network=ambari-network \
  -v /var/log/hadoop:/var/log/hadoop:ro \
  -v /path/to/custom/logfeeder.conf:/etc/ambari-logsearch-logfeeder/conf/logfeeder.conf:ro \  # 挂载自定义配置文件
  -e LOGSEARCH_HOST=logsearch-service \
  apache/ambari-logsearch-logfeeder:latest

注：自定义配置文件需遵循Ambari Logfeeder配置规范，详情参考Apache Ambari官方文档。

5. 注意事项

• 容器需具备对挂载日志目录的读权限（建议使用ro只读模式）
• 确保与Ambari Logsearch服务网络连通，可通过docker network connect加入现有网络
• 生产环境建议配合Docker Compose或容器编排工具（如Kubernetes）实现多节点部署
• 日志量大的场景可适当调大BUFFER_SIZE参数，避免缓冲区溢出导致日志丢失