kousik86/log-monitoring

日志监控Docker镜像文档

1. 镜像概述和主要用途

本镜像是一个轻量级日志监控解决方案的Docker化实现，整合了日志收集、存储、分析及可视化功能，提供一站式日志管理工具。通过容器化部署简化传统日志系统的搭建流程，适用于各类环境中的应用程序日志集中管理，帮助用户实时掌握系统运行状态、快速定位故障并优化系统性能。

主要用途包括：分布式系统日志集中管理、应用程序实时监控、自动化日志分析与异常检测、生成可视化报表辅助运维决策。

2. 核心功能和特性

• 多源日志收集：支持文件日志、Docker容器日志、系统日志（syslog）、应用API日志等多类型数据源接入
• 实时日志处理：采用流式处理引擎，实现秒级日志接入与分析，确保监控实时性
• 日志聚合与过滤：支持按来源、级别、关键词等维度进行日志聚合、过滤和检索，快速定位关键信息
• 可视化仪表盘：内置Web可视化界面，展示日志流量、错误趋势、热门日志源等指标，支持自定义报表配置
• 灵活告警机制：可配置基于日志内容、频率或阈值的告警规则，支持邮件、Slack、Webhook等多渠道通知
• 可扩展存储：兼容主流存储后端（如Elasticsearch、本地文件），支持存储容量限制与自动轮转
• 轻量级部署：容器化设计资源占用低，支持单机、虚拟机及Kubernetes等多种部署环境

3. 使用场景和适用范围

适用场景

• 中小型企业的应用日志集中管理
• 开发测试环境的日志调试与问题定位
• 生产环境的实时监控与故障排查
• 多容器/微服务架构的分布式日志聚合
• 跨环境（开发/测试/生产）的日志统一分析

适用范围

• 操作系统：Linux、Windows（WSL2）、macOS（Docker Desktop）
• 部署环境：物理机、虚拟机、Docker、Kubernetes
• 应用类型：Java/Python/Node.js等各类语言应用，数据库、中间件等系统组件

4. 使用方法和配置说明

4.1 基本使用（docker run）

快速启动日志监控容器：

bash
docker run -d \
  --name log-monitor \
  -p 8080:8080 \  # 可视化仪表盘端口
  -p 514:514/udp \  # 系统日志接收端口
  -v /var/log:/host/logs:ro \  # 只读挂载主机日志目录
  -v /var/run/docker.sock:/var/run/docker.sock \  # 收集Docker容器日志
  -v log-data:/app/data \  # 持久化存储日志数据
  -e LOG_LEVEL=info \  # 应用日志级别
  -e ALERT_EMAIL=admin@example.com \  # 告警接收邮箱
  log-monitor:latest

4.2 Docker Compose配置示例

创建docker-compose.yml实现完整部署：

yaml
version: '3'
services:
  log-monitor:
    image: log-monitor:latest
    container_name: log-monitor
    ports:
      - "8080:8080"  # Web仪表盘端口
      - "514:514/udp"  # Syslog接收端口
      - "9000:9000"  # 日志收集API端口
    volumes:
      - /var/log:/host/logs:ro  # 主机日志只读挂载
      - /var/run/docker.sock:/var/run/docker.sock  # Docker容器日志收集
      - log-data:/app/data  # 持久化数据存储
    environment:
      - LOG_LEVEL=debug  # 调试模式日志级别
      - STORAGE_SIZE=10G  # 日志存储容量上限
      - ALERT_THRESHOLD=5  # 错误日志告警阈值（次/分钟）
      - ALERT_CHANNEL=email,slack  # 告警渠道
      - SLACK_WEBHOOK=https://hooks.slack.com/services/XXX  # Slack告警Webhook
    restart: unless-stopped

volumes:
  log-data:  # 持久化数据卷

启动服务：

bash
docker-compose up -d

4.3 环境变量说明

4.4 持久化存储配置

为防止容器重启导致日志数据丢失，推荐使用以下持久化方案：

1. Docker卷（推荐）：通过声明命名卷（如上述log-data）自动管理存储，无需关心主机路径

2. 主机目录挂载：指定主机目录作为存储路径（需确保权限正确）：

   bash
   -v /opt/log-monitor/data:/app/data  # 主机目录挂载
   

4.5 网络配置

• 端口映射：需开放仪表盘端口（默认8080）用于Web访问，以及日志接收端口（如514/UDP用于syslog）
• 跨主机日志收集：确保容器网络可被外部访问，可使用--network=host模式或配置端口转发
• 容器间通信：与其他服务通信时，建议创建自定义Docker网络：

  bash
  docker network create log-network
  docker run --network=log-network ...  # 加入自定义网络
  

5. 常见问题与故障排除

5.1 无法收集Docker容器日志

• 检查是否挂载/var/run/docker.sock：docker inspect log-monitor | grep "docker.sock"
• 确认容器权限：必要时添加--user root临时测试（生产环境建议使用最小权限）
• 验证Docker服务状态：systemctl status docker

5.2 仪表盘无法访问

• 检查端口映射：docker port log-monitor
• 查看容器日志排查错误：docker logs -f log-monitor
• 验证防火墙规则：确保8080端口允许访问

5.3 日志存储占用过大

• 调整STORAGE_SIZE环境变量限制存储容量
• 手动清理旧日志：docker exec -it log-monitor /app/scripts/clean-old-logs.sh
• 配置日志轮转：通过环境变量LOG_ROTATE_DAYS=7设置日志保留天数