unfoldingword/loki_backup

Loki Exporter镜像说明

镜像概述

本镜像封装了Loki Exporter工具，用于从Loki日志系统拉取数据并导出为压缩文件，支持本地存储和S3存储两种方式，可作为Loki日志的备份解决方案。其行为通过conf/loki-export.conf配置文件定义。

核心功能

1. 通过Loki官方API查询日志数据
2. 将结果存储为gzip压缩文件
3. 同时支持本地存储和S3存储
4. 可配置多组导出规则（Exporters）
5. 集成Graphite记录运行指标
6. 支持增量导出（通过状态文件跟踪上次导出时间）

使用场景

• Loki日志的定期备份与长期归档
• 跨环境的日志数据迁移
• 满足合规要求的日志留存
• 日志数据的离线分析

配置说明

配置文件示例（conf/loki-export.conf）

json
{
  "loki_host": "http://localhost:3100",
  "graphite_host": "localhost",
  "graphite_prefix": "loki.backup",
  "max_lines_per_query": 5000,
  "max_days_per_exporter": 100,
  "export_holdoff_days": 1,
  "storage": {
    "local": {
      "filepath": "loki_export"
    },
    "s3": {
      "aws_bucket": "loki-export.yourorg.com"
    }
  },
  "exporters": [
    {
      "active": true,
      "query": "{system=\"server1\",app=\"nginx\"}",
      "time_start": "2020-02-23 00:00:00",
      "format": "elf"
    }
  ]
}

全局配置

• loki_host: Loki服务的访问URL
• graphite_host: Graphite服务地址（用于指标存储）
• graphite_prefix: Graphite指标前缀
• max_lines_per_query: 单次查询最大行数（Loki默认上限5000）
• max_days_per_exporter: 每次运行每个导出规则处理的最大天数
• export_holdoff_days: 备份截止时间为当前日期减去该天数（避免备份未完成日志）

存储配置

支持同时使用多种存储：

• 本地存储：filepath为存储目录路径（自动创建不存在的目录）
• S3存储：aws_bucket为目标桶名称（需具备写入权限）

导出规则配置

每个规则定义一组日志查询：

• active: 是否启用该规则
• query: LogQL查询语句
• time_start: 初始导出开始时间（后续通过conf/loki-export-state.json跟踪）
• format: 导出格式（elf扩展日志格式或json）

部署示例

Docker Run命令

bash
docker run \
  --env-file .env \
  --rm \
  --net=host \
  --mount type=bind,source="$(pwd)"/loki-backup/conf,target=/app/conf \
  --mount type=bind,source="$(pwd)"/loki-backup/loki_export,target=/app/loki_export \
  --name loki-exporter \
  unfoldingword/loki-exporter

环境变量说明

需设置以下变量（通过.env或手动）：

• AWS_ACCESS_KEY_ID: AWS访问密钥ID（S3存储必填）
• AWS_ACCESS_KEY_SECRET: AWS访问密钥Secret（S3存储必填）
• STAGE: 运行环境（dev日志更详细，prod为生产环境）

版本历史

• 0.1：初始版本

许可证

本项目采用MIT许可证授权