flant/k8s-image-availability-exporter

k8s-image-availability-exporter

k8s-image-availability-exporter（简称k8s-iae）是一款Prometheus导出器，用于主动警告Kubernetes对象（如Deployment的image字段）中定义但在容器 registry（如Docker Registry等）中不可用的镜像。

当与运行中的Kubernetes控制器相关的容器镜像缺失时收到告警，有助于在问题显现前提前解决。有关k8s-iae的设计背景和工作原理的更多详细信息，请阅读这篇文章。

• 部署/安装 k8s-iae到Kubernetes集群
  • Prometheus集成以采集指标
  • 告警配置基于k8s-iae指标
• 配置
  • 命令行选项
• 指标 k8s-iae提供的Prometheus指标
• 兼容性

部署

克隆本仓库后执行：

kubectl apply -f deploy/

Prometheus 集成

以下是配置Prometheus或prometheus-operator从k8s-image-availability-exporter采集指标的方法。

Prometheus

yaml
- job_name: image-availability-exporter
  honor_labels: true
  metrics_path: '/metrics'
  scheme: http
  kubernetes_sd_configs:
  - role: pod
    namespaces:
      names:
      - kube-system
  relabel_configs:
  - source_labels: [__meta_kubernetes_pod_label_app]
    regex: image-availability-exporter
    action: keep

prometheus-operator

yaml
apiVersion: monitoring.coreos.com/v1
kind: PodMonitor
metadata:
  name: image-availability-exporter
  namespace: kube-system
spec:
  podMetricsEndpoints:
  - port: http-metrics
    scheme: http
    honorLabels: true
    scrapeTimeout: 10s
  selector:
    matchLabels:
      app: image-availability-exporter
  namespaceSelector:
    matchNames:
    - kube-system

告警配置

以下是基于这些指标配置告警的方法：

Prometheus

yaml
groups:
- name: image-availability-exporter.rules
  rules:
  - alert: DeploymentImageUnavailable
    expr: |
      max by (namespace, deployment, container, image) (
        k8s_image_availability_exporter_deployment_available == 0
      )
    annotations:
      description: >
        检查容器 registry 中镜像 `{{ $labels.image }}` 的可用性，
        位于命名空间 `{{ $labels.namespace }}`、
        Deployment `{{ $labels.owner_name }}`、
        容器 `{{ $labels.container }}`。
      summary: 镜像 `{{ $labels.image }}` 在容器 registry 中不可用。

  - alert: StatefulSetImageUnavailable
    expr: |
      max by (namespace, statefulset, container, image) (
        k8s_image_availability_exporter_statefulset_available == 0
      )
    annotations:
      description: >
        检查容器 registry 中镜像 `{{ $labels.image }}` 的可用性，
        位于命名空间 `{{ $labels.namespace }}`、
        StatefulSet `{{ $labels.owner_name }}`、
        容器 `{{ $labels.container }}`。
      summary: 镜像 `{{ $labels.image }}` 在容器 registry 中不可用。

  - alert: DaemonSetImageUnavailable
    expr: |
      max by (namespace, daemonset, container, image) (
        k8s_image_availability_exporter_daemonset_available == 0
      )
    annotations:
      description: >
        检查容器 registry 中镜像 `{{ $labels.image }}` 的可用性，
        位于命名空间 `{{ $labels.namespace }}`、
        DaemonSet `{{ $labels.owner_name }}`、
        容器 `{{ $labels.container }}`。
      summary: 镜像 `{{ $labels.image }}` 在容器 registry 中不可用。

  - alert: CronJobImageUnavailable
    expr: |
      max by (namespace, cronjob, container, image) (
        k8s_image_availability_exporter_cronjob_available == 0
      )
    annotations:
      description: >
        检查容器 registry 中镜像 `{{ $labels.image }}` 的可用性，
        位于命名空间 `{{ $labels.namespace }}`、
        CronJob `{{ $labels.owner_name }}`、
        容器 `{{ $labels.container }}`。
      summary: 镜像 `{{ $labels.image }}` 在容器 registry 中不可用。

prometheus-operator

yaml
apiVersion: monitoring.coreos.com/v1
kind: PrometheusRule
metadata:
  name: image-availability-exporter-alerts
  namespace: kube-system
spec:
  groups:
  - name: image-availability-exporter.rules
    rules:

    - alert: DeploymentImageUnavailable
      expr: |
        max by (namespace, deployment, container, image) (
          k8s_image_availability_exporter_deployment_available == 0
        )
      annotations:
        description: >
          检查容器 registry 中镜像 `{{ $labels.image }}` 的可用性，
          位于命名空间 `{{ $labels.namespace }}`、
          Deployment `{{ $labels.owner_name }}`、
          容器 `{{ $labels.container }}`。
        summary: 镜像 `{{ $labels.image }}` 不可用。
    
    - alert: StatefulSetImageUnavailable
      expr: |
        max by (namespace, statefulset, container, image) (
          k8s_image_availability_exporter_statefulset_available == 0
        )
      annotations:
        description: >
          检查容器 registry 中镜像 `{{ $labels.image }}` 的可用性，
          位于命名空间 `{{ $labels.namespace }}`、
          StatefulSet `{{ $labels.owner_name }}`、
          容器 `{{ $labels.container }}`。
        summary: 镜像 `{{ $labels.image }}` 在容器 registry 中不可用。
    
    - alert: DaemonSetImageUnavailable
      expr: |
        max by (namespace, daemonset, container, image) (
          k8s_image_availability_exporter_daemonset_available == 0
        )
      annotations:
        description: >
          检查容器 registry 中镜像 `{{ $labels.image }}` 的可用性，
          位于命名空间 `{{ $labels.namespace }}`、
          DaemonSet `{{ $labels.owner_name }}`、
          容器 `{{ $labels.container }}`。
        summary: 镜像 `{{ $labels.image }}` 在容器 registry 中不可用。
    
    - alert: CronJobImageUnavailable
      expr: |
        max by (namespace, cronjob, container, image) (
          k8s_image_availability_exporter_cronjob_available == 0
        )
      annotations:
        description: >
          检查容器 registry 中镜像 `{{ $labels.image }}` 的可用性，
          位于命名空间 `{{ $labels.namespace }}`、
          CronJob `{{ $labels.owner_name }}`、
          容器 `{{ $labels.container }}`。
        summary: 镜像 `{{ $labels.image }}` 在容器 registry 中不可用。

配置

命令行选项

• --bind-address — 绑定的IP地址和端口。
  • 默认值：:8080
• --check-interval — 检查缺失镜像的间隔时间，采用Go time格式。
  • 默认值：5m
• --ignored-images — 检查缺失镜像时忽略的镜像列表，以逗号分隔。
• --skip-registry-cert-verification — 是否跳过 registry 的证书验证。
• --namespace — 仅检查指定命名空间，而非整个K8s集群。

指标

提供以下Prometheus指标：

• k8s_image_availability_exporter_<TYPE>_available — 非零值表示镜像检查成功。
• k8s_image_availability_exporter_<TYPE>_bad_image_format — 非零值表示image字段格式不正确。
• k8s_image_availability_exporter_<TYPE>_absent — 非零值表示容器 registry 中不存在该镜像的清单。
• k8s_image_availability_exporter_<TYPE>_registry_unavailable — 非零值表示 registry 不可用（可能由于网络中断）。
• k8s_image_availability_exporter_deployment_registry_v1_api_not_supported — 非零值表示使用v1 Docker Registry API，此类镜像建议通过--ignored-images命令行参数忽略。
• k8s_image_availability_exporter_<TYPE>_authentication_failure — 非零值表示容器 registry 认证错误，请验证imagePullSecrets。
• k8s_image_availability_exporter_<TYPE>_authorization_failure — 非零值表示容器 registry 授权错误，请验证imagePullSecrets。
• k8s_image_availability_exporter_<TYPE>_unknown_error — 非零值表示未分类错误，请查看导出器日志获取详细信息。

指标名称中的<TYPE>会替换为以下值：

• deployment
• statefulset
• daemonset
• cronjob

兼容性

k8s-image-availability-exporter兼容Kubernetes 1.15+和Docker Registry V2兼容的容器 registry。

由于该导出器以Deployment形式运行，不支持需要通过节点授权访问的容器 registry。