statsbomb/prometheus-msk-discovery

prometheus-msk-discovery

为AWS MSK提供服务发现功能，与Prometheus兼容。

工作原理

该服务获取AWS账户中的MSK集群列表，并将每个代理导出为Prometheus兼容的静态配置，用于file_sd_config机制。

前置要求

1) IAM策略

使用AWS凭证或IAM角色时，需为所使用的角色/用户附加以下策略：

json
{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "kafka:ListClusters",
                "kafka:ListNodes"
            ],
            "Resource": [
                "*"
            ]
        }
    ]
}

2) AWS凭证

• 未特别提供获取AWS凭证的特殊设置，而是通过AWS SDK处理。凭证将按照https://aws.github.io/aws-sdk-go-v2/docs/configuring-sdk/#specifying-credentials%E4%B8%AD%E6%8C%87%E5%AE%9A%E7%9A%84%E9%A1%BA%E5%BA%8F%E8%87%AA%E5%8A%A8%E6%90%9C%E7%B4%A2%E3%80%82

使用方法

命令行参数

使用 ./prometheus-msk-discovery 的用法：
  -job-prefix string
    	用于为每个作业标签添加前缀的字符串（默认值："msk"）
  -output string
    	写入MSK发现信息的文件路径（默认值："msk_file_sd.yml"）
  -scrape-interval duration
    	抓取AWS API获取MSK集群信息的间隔时间（默认值：5m0s）

示例输出

bash
$ ./prometheus-msk-discovery -scrape-interval 10s
2021/04/04 21:02:55 Writing 1 discovered exporters to msk_file_sd.yml

示例输出文件可参考此处。

与kube-prometheus-stack集成

该项目的https://hub.docker.com/r/statsbomb/prometheus-msk-discovery%E5%8F%AF%E7%94%A8%E4%BA%8E%E5%B0%86%E5%AE%B9%E5%99%A8%E6%B3%A8%E5%85%A5https://github.com/prometheus-community/helm-charts/tree/main/charts/kube-prometheus-stack%E5%AE%89%E8%A3%85%E7%9A%84Prometheus%E8%A7%84%E8%8C%83%E4%B8%AD%EF%BC%8C%E5%9C%A8%60values.yaml%60%E4%B8%AD%E4%BD%BF%E7%94%A8%E4%BB%A5%E4%B8%8B%E9%85%8D%E7%BD%AE%E7%89%87%E6%AE%B5%EF%BC%9A

yaml
prometheus:
  prometheusSpec:
    containers:
      - name: prometheus-msk-discovery
        image: statsbomb/prometheus-msk-discovery:latest
        args:
          - -output
          - /config-out/msk_file_sd.yml
        volumeMounts:
          - name: config-out
            mountPath: /config-out

然后，需在additionalScrapeConfig中添加类似以下配置：

yaml
- job_name: prometheus-msk-discovery
  file_sd_configs:
    - files:
        - /etc/prometheus/config_out/msk_file_sd.yml
  honor_labels: true

构建

可直接使用go build命令构建。

贡献

欢迎拉取请求、问题反馈和建议。

致谢

• Prometheus作者
  • [***]
• Prometheus ECS Discovery
  • 灵感来源于https://github.com/teralytics/prometheus-ecs-discovery
• Prometheus Lightsail SD
  • README格式参考https://github.com/n888/prometheus-lightsail-sd

许可证

Apache License 2.0，详见https://github.com/statsbomb/prometheus-msk-discovert/blob/master/LICENSE%E3%80%82