appdynamics/cluster-agent-operator

Kubernetes Cluster Agent Operator 技术文档

1. 镜像概述和主要用途

Kubernetes Cluster Agent Operator 是一个基于 Kubernetes Operator 模式的管理组件，用于自动化集群级代理（Cluster Agent）的生命周期管理。该 Operator 通过自定义资源定义（CRD）和控制器逻辑，实现 Cluster Agent 的部署、配置更新、版本升级、故障自愈及监控集成等功能，旨在简化大规模 Kubernetes 集群中 Cluster Agent 的运维复杂度，确保代理组件的高可用性和配置一致性。

2. 核心功能和特性

2.1 自定义资源定义（CRD）

提供 ClusterAgent 自定义资源，支持通过 YAML 声明式配置 Agent 的部署参数（如镜像版本、资源限制、副本数等）。

2.2 全生命周期管理

• 自动化部署：根据 ClusterAgent CR 规范自动创建 Agent 的 Deployment、Service 等资源。
• 版本升级与回滚：支持通过更新 CR 中的 image.tag 字段触发滚动升级，内置版本兼容性检查，失败时可自动回滚。
• 故障自愈：监控 Agent 实例健康状态，对异常实例（如 CrashLoopBackOff、就绪探针失败）自动重建。

2.3 配置管理

• 支持挂载自定义配置文件（通过 ConfigMap/Secret），配置变更时自动触发 Agent 滚动更新。
• 提供配置校验机制，防止无效配置导致 Agent 异常。

2.4 资源优化

• 动态调整 Agent 资源分配（CPU/内存限制），基于集群负载自动推荐资源配置（需启用 autoScaling 特性）。

2.5 监控与告警

• 集成 Prometheus 监控，暴露 Operator 自身及 Agent 的关键指标（如副本就绪率、配置同步状态、资源使用率）。
• 支持通过 CR 配置告警规则（如 Agent 不可用持续 5 分钟触发告警）。

2.6 多集群支持

通过 Kubernetes Cluster API 或联邦集群（Federation）集成，支持跨集群管理 Cluster Agent 实例。

3. 使用场景和适用范围

3.1 适用场景

• 大规模集群管理：在包含数百节点的生产集群中，自动化管理多实例 Cluster Agent。
• 多环境一致性保障：在开发、测试、生产环境中通过统一 CR 配置确保 Agent 行为一致。
• 高可用要求场景：需确保 Cluster Agent 无间断运行（如监控、日志采集类 Agent），依赖 Operator 实现故障自愈。
• 版本控制与合规：需严格控制 Agent 版本迭代，通过 Operator 实现灰度升级和审计追踪。

3.2 适用范围

• Kubernetes 版本：1.21+（需支持 CRD v1 和控制器运行时 v0.11+）。
• 集群规模：单集群节点数 ≥ 10 或多集群管理场景。
• 部署环境：物理机、云厂商 Kubernetes 服务（EKS/GKE/AKS）、自建集群均可。

4. 使用方法和配置说明

4.1 部署准备

• 确保 Kubernetes 集群已启用 RBAC（默认启用）。
• 集群管理员权限（需创建 CRD、ClusterRole 等集群级资源）。
• （可选）安装 Prometheus 和 Grafana（用于监控 Operator 和 Agent 状态）。

4.2 部署 Operator

4.2.1 通过 kubectl 部署

1. 部署 CRD：

   bash
   kubectl apply -f https://raw.githubusercontent.com/example/cluster-agent-operator/main/config/crd/bases/agent.example.com_clusteragents.yaml
   

2. 部署 Operator 控制器：

   bash
   kubectl apply -f https://raw.githubusercontent.com/example/cluster-agent-operator/main/config/manager/manager.yaml
   

3. 验证部署：

   bash
   # 检查 Operator Pod 状态（默认部署在 cluster-agent-operator 命名空间）
   kubectl get pods -n cluster-agent-operator
   # 输出示例：NAME                                         READY   STATUS    RESTARTS   AGE
   #          cluster-agent-operator-controller-manager-xxxx   2/2     Running   0          10s
   

4.2.2 通过 Helm Chart 部署

1. 添加 Helm 仓库：

   bash
   helm repo add cluster-agent-operator https://example.github.io/cluster-agent-operator
   helm repo update
   

2. 安装 Chart：

   bash
   helm install cluster-agent-operator cluster-agent-operator/cluster-agent-operator \
     --namespace cluster-agent-operator \
     --create-namespace \
     --set image.tag=v1.2.0  # 指定 Operator 版本
   

4.3 创建 Cluster Agent 自定义资源 (CR)

4.3.1 CRD 定义说明

ClusterAgent CRD 包含以下核心字段（完整定义见 https://raw.githubusercontent.com/example/cluster-agent-operator/main/config/crd/bases/agent.example.com_clusteragents.yaml%EF%BC%89%EF%BC%9A

• spec.image：Agent 镜像地址（如 example/cluster-agent:v2.3.0）。
• spec.replicas：Agent 副本数（默认 2，建议 ≥2 确保高可用）。
• spec.resources：资源限制（CPU/内存请求与限制）。
• spec.config：挂载的配置文件（支持 ConfigMap/Secret 引用）。
• spec.updateStrategy：升级策略（如 RollingUpdate 或 OnDelete）。

4.3.2 CR 配置示例

创建 cluster-agent-example.yaml：

yaml
apiVersion: agent.example.com/v1alpha1
kind: ClusterAgent
metadata:
  name: cluster-agent-default
  namespace: kube-system  # Agent 通常部署在系统命名空间
spec:
  image:
    repository: example/cluster-agent
    tag: v2.3.0  # Agent 版本
    pullPolicy: IfNotPresent
  replicas: 3  # 3 副本确保高可用
  resources:
    requests:
      cpu: 100m
      memory: 256Mi
    limits:
      cpu: 500m
      memory: 512Mi
  config:
    configMap:
      name: agent-config  # 引用提前创建的 ConfigMap（需包含 agent.conf 等配置文件）
  updateStrategy:
    type: RollingUpdate
    rollingUpdate:
      maxUnavailable: 1  # 升级时允许 1 个副本不可用
  monitoring:
    enabled: true  # 启用 Prometheus 监控
    serviceMonitor:
      enabled: true  # 创建 ServiceMonitor 资源（需 Prometheus Operator）

应用 CR：

bash
kubectl apply -f cluster-agent-example.yaml

4.3.3 核心配置参数说明

4.4 配置更新与管理

修改 ClusterAgent CR 即可触发配置更新，Operator 会自动执行滚动更新：

bash
# 编辑 CR
kubectl edit clusteragent cluster-agent-default -n kube-system
# 修改 spec.image.tag 为 v2.4.0，保存退出后 Operator 会触发 Agent 升级

4.5 升级与回滚

• Operator 升级：通过重新应用最新版本的 manager.yaml 或 Helm Chart 升级（需确保 CRD 兼容）。
• Agent 回滚：若升级失败，修改 CR 的 spec.image.tag 为上一稳定版本，Operator 会自动回滚。

4.6 监控与日志

• 查看 Operator 日志：

  bash
  kubectl logs -n cluster-agent-operator deployment/cluster-agent-operator-controller-manager -c manager
  

• 监控指标：默认暴露指标端口 8080，可通过 Prometheus 采集以下关键指标：
  • cluster_agent_operator_reconcile_success_total：CR 调和成功次数
  • cluster_agent_ready_replicas：Agent 就绪副本数
  • cluster_agent_upgrade_failed_total：Agent 升级失败次数

5. 环境变量与配置参数

5.1 Operator 部署环境变量

Operator 控制器支持通过环境变量调整运行参数（在 Deployment 的 env 字段配置）：

5.2 ClusterAgent CR 配置参数

完整参数说明见 https://raw.githubusercontent.com/example/cluster-agent-operator/main/config/crd/bases/agent.example.com_clusteragents.yaml%EF%BC%8C%E6%A0%B8%E5%BF%83%E5%8F%82%E6%95%B0%E5%B7%B2%E5%9C%A8 4.3.3 节列出。

6. 示例部署清单

6.1 Operator 部署 YAML（精简版）

yaml
# cluster-agent-operator-deployment.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: cluster-agent-operator-controller-manager
  namespace: cluster-agent-operator
spec:
  replicas: 1
  selector:
    matchLabels:
      control-plane: controller-manager
  template:
    metadata:
      labels:
        control-plane: controller-manager
    spec:
      containers:
      - name: manager
        image: example/cluster-agent-operator:v1.2.0
        command:
        - /manager
        args:
        - --leader-elect
        env:
        - name: LOG_LEVEL
          value: info
        resources:
          limits:
            cpu: 500m
            memory: 512Mi
          requests:
            cpu: 100m
            memory: 256Mi

6.2 ClusterAgent CR 完整示例

yaml
apiVersion: agent.example.com/v1alpha1
kind: ClusterAgent
metadata:
  name: cluster-agent-production
  namespace: kube-system
spec:
  image:
    repository: example/cluster-agent
    tag: v2.4.0
    pullPolicy: Always
  replicas: 3
  resources:
    requests:
      cpu: 200m
      memory: 512Mi
    limits:
      cpu: 1000m
      memory: 1Gi
  config:
    configMap:
      name: agent-production-config
      items:
      - key: agent.conf
        path: agent.conf
      - key: cert.pem
        path: tls/cert.pem
    secret:
      name: agent-tls
      items:
      - key: key.pem
        path: tls/key.pem
  updateStrategy:
    type: RollingUpdate
    rollingUpdate:
      maxSurge: 1
      maxUnavailable: 0
  monitoring:
    enabled: true
    serviceMonitor:
      enabled: true
      namespace: monitoring
      interval: 15s
      scrapeTimeout: 10s

7. 故障排除

• Agent 未部署：检查 ClusterAgent CR 的 status.conditions 字段，确认是否存在错误（如权限不足、镜像拉取失败）。
• Operator 调和失败：查看 Operator 日志，搜索 Reconciliation failed 关键字定位问题。
• 升级卡住：检查 Agent 新副本是否因资源不足或配置错误无法启动，执行 kubectl describe pod <agent-pod-name> 查看事件。