daspawnw/prometheus-aws-discovery

Prometheus AWS/Azure 基于标签的服务发现

镜像概述

Prometheus AWS/Azure Tag based Discovery 提供了一种更灵活的服务发现机制，用于自动发现运行在 AWS EC2 实例或 Azure VMSS（虚拟机规模集）实例上的 Exporter。该镜像通过解析云资源的标签（Tags），生成兼容 Prometheus file_sd_config 格式的配置文件，从而克服了原生 ec2_sd_configs 在端口和路径配置上的局限性。

核心功能与特性

• 灵活的动态发现：突破 Prometheus 原生 EC2 服务发现对端口列表的硬编码限制，支持基于实例标签动态解析端口、路径和协议。
• 多云支持：同时支持 AWS EC2 和 Azure VMSS 实例的标签解析（注：当前二进制文件暂不支持普通的 Azure VM）。
• 多版本标签结构：支持更强大的 V2 JSON 格式标签结构，并向下兼容 V1 键值对格式标签。
• 自动标签转换：自动将云实例的标签转换为 Prometheus 的 metrics labels，并自动过滤掉 AWS 特有的 aws: 前缀标签。

使用场景和适用范围

• 需要在 AWS 或 Azure 环境中大规模动态监控云实例。
• 监控目标（Exporter 或应用）运行在不同的端口、使用不同的 metrics 路径或协议（HTTP/HTTPS）。
• 希望通过云平台的标签系统（Tagging）来统一管理 Prometheus 监控目标的配置，实现基础设施即代码（IaC）的监控联动。

认证配置

AWS 认证

AWS 认证通过 AWS Go SDK 实现，默认支持以下认证方式：

• 环境变量（Environment Variables）
• 实例配置文件（Instance Profiles / IAM Roles） 详细支持情况请参考 AWS SDK 文档。

Azure 认证

Azure 认证需要通过环境变量提供凭证。支持的凭证组合请参考 https://github.com/Azure/azure-sdk-for-go#more-authentication-details%E3%80%82

标签发现机制 (Discovery Tag)

原生 Prometheus 的 ec2_sd_configs 功能有限，不支持扩展发现（例如只能在配置文件中指定固定的端口列表）。本项目通过解析 EC2/VMSS 标签，生成 file_sd_config 可读取的格式来解决此问题。

V2 标签结构（推荐）

如果在启动时提供 --tag 参数，程序将查找 V2 标签结构。该结构允许在 Value 中使用 JSON 数组定义多个监控目标。

标签格式：

text
Key: example
Value: [{"name": "ref-test","port": 9100,"path": "metrics","scheme": "https"}, {"name": "app-metrics","port": 8080,"path": "/metrics","scheme": "http"}]

V1 标签结构（即将废弃）

如果提供 --tag-prefix 参数，程序将查找 V1 标签结构。

标签格式：

text
Key: <prefix>:<port>/<path>
Value: <name>

参数说明：

• prefix：可通过命令行参数配置，默认为 prom/scrape。
• port：应用或 Exporter 监听的端口。
• path：Exporter 或应用提供的 metrics 路径（例如 /metrics）。
• name：作为 label 添加到 metrics 中的名称。

示例：

text
Key: prom/scrape:9100/metrics
Value: node_exporter

生成的 file_sd_config 输出：

json
[
  {
    "targets": [
      "<private-ip-address>:9100"
    ],
    "labels": {
      "__address__": "<private-ip-address>:9100",
      "__metrics_path__": "/metrics",
      "instancename": "<Name-Tag>",
      "name": "node_exporter",
      "...": "..."
    }
  }
]

注：... 代表与 EC2 实例关联的其他标签列表，所有以 aws: 开头的 AWS 特定标签将被自动移除。

部署与使用示例

Docker Run 部署 (AWS 环境)

使用 IAM 实例配置文件（Instance Profile）进行认证，并指定 V2 标签发现：

bash
docker run -d \
  --name prometheus-discovery \
  -v /path/to/output:/output \
  -e AWS_REGION=us-east-1 \
  prometheus-tag-discovery:latest \
  --tag example \
  --output /output/targets.json

Docker Compose 部署 (Azure 环境)

使用环境变量进行 Azure 认证，并指定 V1 标签前缀：

yaml
version: '3.8'
services:
  prometheus-discovery:
    image: prometheus-tag-discovery:latest
    container_name: prometheus-discovery
    environment:
      - AZURE_CLIENT_ID=<your-client-id>
      - AZURE_CLIENT_SECRET=<your-client-secret>
      - AZURE_TENANT_ID=<your-tenant-id>
      - AZURE_SUBSCRIPTION_ID=<your-subscription-id>
    volumes:
      - ./sd-config:/output
    command:
      - "--tag-prefix=prom/scrape"
      - "--output=/output/targets.json"
    restart: unless-stopped

Prometheus 配置集成

在 Prometheus 的 prometheus.yml 中配置文件服务发现，指向该镜像生成的 JSON 文件：

yaml
scrape_configs:
  - job_name: 'cloud-instances'
    file_sd_configs:
      - files:
          - '/path/to/sd-config/targets.json'
        refresh_interval: 5m