apache/ambari-logsearch-portal

Ambari Logsearch Portal Docker镜像文档

1. 镜像概述

Ambari Logsearch Portal Docker镜像是基于Apache Ambari Logsearch组件的容器化部署版本，专为Hadoop集群日志管理设计。该镜像整合日志收集、存储、检索与可视化能力，提供开箱即用的集中式日志管理解决方案，支持与Ambari集群管理平台无缝集成，简化Hadoop生态系统日志监控与运维流程。

2. 核心功能与特性

2.1 日志管理核心能力

• 集中式日志收集：支持HDFS、YARN、Hive、Spark等Hadoop组件日志的实时采集与聚合
• 毫秒级实时搜索：基于全文检索引擎实现日志快速查询，支持关键词高亮与模糊匹配
• 多维度过滤分析：按时间范围、集群名称、服务类型、主机节点、日志级别等多维度筛选
• 可视化报表展示：提供折线图、柱状图、热力图等可视化组件，直观呈现日志趋势与分布

2.2 平台集成与扩展性

• Ambari原生集成：支持Ambari权限认证与单点登录，共享集群元数据信息
• Elasticsearch兼容：适配主流Elasticsearch版本（5.x-8.x），支持分布式日志存储
• REST API支持：提供完整API接口，支持第三方系统集成与自动化运维
• 高可用部署：支持多实例集群部署，通过负载均衡实现服务高可用

2.3 运维与安全特性

• 日志导出功能：支持CSV/JSON格式日志导出，便于离线分析与审计
• 自定义告警规则：支持基于日志关键词、频率阈值配置告警策略
• 敏感信息脱敏：内置日志内容脱敏功能，保护密码、IP等敏感数据
• 轻量化部署：容器化设计减少环境依赖，支持快速启停与版本迭代

3. 使用场景与适用范围

3.1 典型应用场景

• Hadoop集群日常监控：实时跟踪集群各服务运行状态，通过日志异常检测提前发现潜在问题
• 故障快速定位：针对集群故障（如任务失败、节点宕机），通过日志上下文检索缩短排查时间
• 性能瓶颈分析：基于日志时序数据识别YARN资源竞争、HDFS I/O瓶颈等性能问题
• 安全合规审计：记录用户操作日志、权限变更记录，满足***、政务等行业合规要求

3.2 适用环境

• Hadoop集群规模：中小型（10-100节点）至大型（100+节点）Hadoop/Spark集群
• 部署环境：物理机、虚拟机或Kubernetes容器平台
• 配套组件：需配合Ambari Server（2.7+）、Elasticsearch集群（日志存储）、Ambari Logsearch Agent（日志采集）使用

4. 使用方法与配置说明

4.1 前置依赖条件

• 运行中的Ambari管理集群（版本2.7.x+）
• 可用的Elasticsearch集群（5.x-8.x，用于日志存储）
• 集群节点已部署Ambari Logsearch Agent（用于日志采集）

4.2 镜像获取

bash
# 拉取最新稳定版镜像
docker pull apache/ambari-logsearch-portal:latest

# 拉取指定版本（如2.9.0）
docker pull apache/ambari-logsearch-portal:2.9.0

4.3 基本部署示例

4.3.1 单实例快速启动

bash
docker run -d \
  --name ambari-logsearch-portal \
  -p 6188:6188 \
  -e AMBARI_HOST=ambari-server.example.com \
  -e ELASTICSEARCH_HOST=elasticsearch-cluster.example.com \
  -v /opt/logsearch/config:/opt/ambari-logsearch-portal/conf \
  -v /opt/logsearch/data:/opt/ambari-logsearch-portal/data \
  apache/ambari-logsearch-portal:latest

4.3.2 自定义配置部署

bash
docker run -d \
  --name ambari-logsearch-portal \
  --network hadoop-network \  # 接入Hadoop集群网络
  -p 80:6188 \  # 自定义宿主机端口映射
  -e AMBARI_HOST=ambari-server \
  -e AMBARI_PORT=8080 \
  -e AMBARI_USER=admin \
  -e AMBARI_PASSWORD=SecurePass123! \
  -e ELASTICSEARCH_HOST=es-node1,es-node2 \  # 多节点ES集群
  -e ELASTICSEARCH_PORT=9200 \
  -e LOG_LEVEL=WARN \  # 调整日志级别
  -v /etc/logsearch/portal-conf:/opt/ambari-logsearch-portal/conf \  # 自定义配置文件
  -v /var/log/logsearch:/opt/ambari-logsearch-portal/logs \  # 日志持久化
  --restart unless-stopped \
  apache/ambari-logsearch-portal:2.9.0

4.4 环境变量配置说明

4.5 数据卷挂载建议

5. 使用场景与操作指南

5.1 访问门户界面

容器启动后，通过浏览器访问：http://<宿主机IP>:<映射端口>，使用Ambari管理员账号登录。

5.2 核心操作流程

1. 日志搜索：在搜索框输入关键词，通过左侧过滤器（服务、主机、时间等）缩小范围
2. 日志分析：切换至"分析"标签页，使用可视化图表查看日志分布与趋势
3. 告警配置：在"系统设置-告警规则"中配置关键词告警、频率告警等策略
4. 日志导出：搜索结果页点击"导出"按钮，选择CSV/JSON格式下载日志

6. 常见问题排查

6.1 连接Ambari失败

• 检查AMBARI_HOST与AMBARI_PORT配置是否正确
• 验证Ambari服务器API可用性：curl http://<ambari-host>:<port>/api/v1/clusters
• 确认容器网络可访问Ambari服务器（可通过docker exec -it <container-id> ping ambari-host测试）

6.2 日志搜索无结果

• 检查Logsearch Agent运行状态：在Ambari界面"主机-组件"中确认agent状态为"启动"
• 验证Elasticsearch索引：通过curl http://<es-host>:<port>/_cat/indices检查是否存在日志索引
• 检查ES连接配置：确认ELASTICSEARCH_HOST与ELASTICSEARCH_PORT指向正确的ES集群

6.3 界面加载缓慢

• 检查容器资源使用：docker stats <container-id>，必要时增加CPU/内存配额
• 优化Elasticsearch查询性能：增加ES节点内存或调整索引分片策略
• 清理历史日志数据：在门户"系统设置-数据管理"中配置日志保留策略

7. 版本兼容性矩阵