webdevops/azure-loganalytics-exporter

Azure Log Analytics Exporter 镜像文档

镜像概述

Azure Log Analytics Exporter 是一个轻量级Docker镜像，专为简化数据向Azure Log Analytics工作区的导出流程而设计。该镜像可从多种数据源收集数据，执行必要的格式转换，并高效发送至Azure Log Analytics，适用于各类日志与监控数据的集中化管理场景。

核心功能与特性

• 多数据源支持：兼容文件日志、API接口、数据库（MySQL/PostgreSQL）等多种数据输入方式。
• 数据转换能力：内置JSON/CSV格式转换工具，支持自定义字段映射与过滤规则。
• 批量处理优化：支持可配置的批量数据发送策略，减少API调用次数，提升传输效率。
• Azure认证集成：支持Service Principal认证模式，安全对接Azure资源访问权限。
• 配置灵活性：通过环境变量或挂载配置文件实现参数自定义，适配不同业务需求。
• 运行状态监控：内置健康检查接口，便于容器编排平台（如K8s）监控运行状态。

使用场景

• 日志数据集成：将应用服务器本地日志（如Nginx、Spring Boot日志）导出至Azure Log Analytics进行集中分析。
• 跨平台监控数据汇总：收集来自不同环境（物理机、虚拟机、容器）的监控指标，统一存储至Azure Log Analytics。
• 第三方系统数据导入：将SaaS平台（如Salesforce、Zendesk）的业务日志通过API接入，与Azure生态数据联动分析。
• 历史数据迁移：批量导出数据库中的历史日志数据至Azure Log Analytics，补充长期数据报表。

使用方法与配置说明

前置条件

• 已创建Azure Log Analytics工作区，获取工作区ID与主键（可在Azure Portal的“代理管理”中查看）。
• 已配置Azure Service Principal，拥有Log Analytics工作区的“数据写入者”权限，获取租户ID、客户端ID、客户端密钥。

基本使用（Docker Run）

bash
docker run -d \
  --name azure-loganalytics-exporter \
  -e AZURE_TENANT_ID="your-tenant-id" \
  -e AZURE_CLIENT_ID="your-client-id" \
  -e AZURE_CLIENT_SECRET="your-client-secret" \
  -e LOG_ANALYTICS_WORKSPACE_ID="your-workspace-id" \
  -e LOG_ANALYTICS_KEY="your-workspace-primary-key" \
  -e DATA_SOURCE="file" \
  -e FILE_PATH="/data/input.log" \
  -e BATCH_SIZE="100" \
  -v /path/to/local/logs:/data \
  azure-loganalytics-exporter:latest

关键环境变量说明

高级配置（挂载配置文件）

对于复杂场景（如多数据源配置、自定义字段映射），可通过挂载JSON配置文件覆盖默认参数。配置文件路径：/etc/exporter/config.json，示例结构：

json
{
  "sources": [
    {
      "type": "file",
      "path": "/data/app.log",
      "parser": {
        "type": "json",
        "excludeFields": ["timestamp_raw"]
      }
    },
    {
      "type": "mysql",
      "connectionString": "jdbc:mysql://host:3306/logdb",
      "query": "SELECT id, content, create_time FROM app_log WHERE create_time > NOW() - INTERVAL 1 HOUR",
      "batchSize": 150
    }
  ],
  "destination": {
    "workspaceId": "your-workspace-id",
    "key": "your-workspace-key",
    "timeout": 30
  },
  "pollInterval": 45
}

启动命令（挂载配置文件）：

bash
docker run -d \
  --name azure-loganalytics-exporter \
  -e AZURE_TENANT_ID="your-tenant-id" \
  -e AZURE_CLIENT_ID="your-client-id" \
  -e AZURE_CLIENT_SECRET="your-client-secret" \
  -v /path/to/your/config.json:/etc/exporter/config.json \
  -v /path/to/local/logs:/data \
  azure-loganalytics-exporter:latest

健康检查

容器暴露8080端口提供健康检查接口，访问http://container-ip:8080/health返回{"status":"UP"}表示运行正常。

故障排查

• 认证失败：检查Azure Service Principal的租户ID、客户端ID、密钥是否正确，以及是否拥有Log Analytics工作区的写入权限。
• 数据发送延迟：增大BATCH_SIZE或减小POLL_INTERVAL，或检查网络连通性（需开放Azure Log Analytics服务端口：443）。
• 数据格式错误：通过LOG_LEVEL=DEBUG查看详细日志，确认数据源格式与Azure Log Analytics要求匹配（建议使用JSON格式）。