mylabtools/promtail

MyLab.Promtail

镜像概述和主要用途

MyLab.Promtail 是基于 Promtail 开发的日志收集服务，用于从Docker容器中收集、处理日志并发送至 Grafana Loki 日志收集系统。该镜像以Docker容器形式部署在目标容器所在服务器，通过解析容器日志文件，添加元数据标签，并将处理后的日志数据转发至Loki，实现容器日志的集中管理。

!https://raw.githubusercontent.com/mylab-tools/promtail/master/doc/mylab-promtail.png

核心功能和特性

• 容器日志收集：自动监控Docker容器日志文件，实时收集日志数据
• 多格式支持：解析nginx日志和MyLab.Log库生成的YAML格式日志
• 元数据增强：自动添加容器名、环境、主机名等标签，便于日志筛选和分析
• 状态持久化：通过持久化卷存储日志读取状态，确保日志不重复、不丢失
• 简化配置：通过环境变量快速配置Loki地址、环境标识等核心参数

使用场景和适用范围

适用于需要集中管理Docker容器日志的场景，特别是：

• 基于Grafana Loki构建日志监控系统的环境
• 运行nginx服务的Docker容器日志收集
• 使用 https://github.com/mylab-log/log 库生成日志的应用
• 开发、测试或生产环境中的Docker容器集群日志管理

详细使用方法和配置说明

主机配置

需在主机上配置Docker日志驱动，确保容器日志以JSON格式存储并包含必要元数据。修改 /etc/docker/daemon.json 文件：

json
{
    "log-driver": "json-file",
    "log-opts": {
        "labels": "log_format",
        "tag": "{{.Name}}"
    }
}

配置说明：

• log-driver: "json-file"：指定日志驱动为JSON文件格式
• labels: "log_format"：启用容器标签log_format记录
• tag: "{{.Name}}"：使用容器名称作为日志标签

MyLab.Promtail容器配置

部署参数说明

Docker Compose部署示例

yaml
version: '3.2'

services:
  promtail:
    container_name: promtail
    image: mylabtools/promtail:0.0.3
    volumes:
      - /var/lib/docker/containers:/var/lib/docker/containers
      - promtail_data:/var/lib/promtail
    environment:
      PROMTAIL_LOKI: http://192.168.0.1/loki
      PROMTAIL_ENV: dev
      PROMTAIL_HOST: dev-infonot
  
volumes:
  promtail_data: {}

目标容器配置

需为目标容器设置 log_format 标签，指定日志格式：

配置示例（Docker Compose）：

yaml
services:
  nginx:
    image: nginx:alpine
    labels:
      - "log_format=nginx"  # 指定日志格式为nginx

日志记录处理

通用日志标签

所有日志会自动添加以下标签：

• container：容器名称（由Docker日志tag配置决定）
• env：环境标识（由PROMTAIL_ENV环境变量指定）
• host：主机名称（由PROMTAIL_HOST环境变量指定）
• format：日志格式（由容器log_format标签指定，如nginx、mylab-yaml）

Nginx日志解析

Nginx日志会被解析为以下额外标签：

Nginx日志在Grafana中的展示示例： !https://raw.githubusercontent.com/mylab-tools/promtail/master/doc/nginx-log.png

MyLab.Log日志解析

MyLab.Log（YAML格式）日志会被解析为以下标签：

MyLab.Log日志在Grafana中的展示示例： !https://raw.githubusercontent.com/mylab-tools/promtail/master/doc/mylab-yaml-log.png