prometheus-msk-discovery

为AWS MSK提供服务发现功能，与Prometheus兼容。

工作原理

该服务获取AWS账户中的MSK集群列表，并将每个代理导出为Prometheus兼容的静态配置，用于file_sd_config机制。

前置要求

1) IAM策略

使用AWS凭证或IAM角色时，需为所使用的角色/用户附加以下策略：

json
{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "kafka:ListClusters",
                "kafka:ListNodes"
            ],
            "Resource": [
                "*"
            ]
        }
    ]
}

2) AWS凭证

• 未特别提供获取AWS凭证的特殊设置，而是通过AWS SDK处理。凭证将按照文档中指定的顺序自动搜索。

使用方法

命令行参数

使用 ./prometheus-msk-discovery 的用法：
  -job-prefix string
    	用于为每个作业标签添加前缀的字符串（默认值："msk"）
  -output string
    	写入MSK发现信息的文件路径（默认值："msk_file_sd.yml"）
  -scrape-interval duration
    	抓取AWS API获取MSK集群信息的间隔时间（默认值：5m0s）

示例输出

bash
$ ./prometheus-msk-discovery -scrape-interval 10s
2021/04/04 21:02:55 Writing 1 discovered exporters to msk_file_sd.yml

示例输出文件可参考此处。

与kube-prometheus-stack集成

该项目的Docker镜像可用于将容器注入kube-prometheus-stack安装的Prometheus规范中，在values.yaml中使用以下配置片段：

yaml
prometheus:
  prometheusSpec:
    containers:
      - name: prometheus-msk-discovery
        image: statsbomb/prometheus-msk-discovery:latest
        args:
          - -output
          - /config-out/msk_file_sd.yml
        volumeMounts:
          - name: config-out
            mountPath: /config-out

然后，需在additionalScrapeConfig中添加类似以下配置：

yaml
- job_name: prometheus-msk-discovery
  file_sd_configs:
    - files:
        - /etc/prometheus/config_out/msk_file_sd.yml
  honor_labels: true

构建

可直接使用go build命令构建。

贡献

欢迎拉取请求、问题反馈和建议。

致谢

• Prometheus作者
  • [***]
• Prometheus ECS Discovery
  • 灵感来源于[***]
• Prometheus Lightsail SD
  • README格式参考[***]

许可证

Apache License 2.0，详见LICENSE。