keikoproj/addon-manager

Addon Manager

Addons是Kubernetes集群中的关键组件，提供应用所需的关键服务，如DNS、Ingress、监控、日志等。Addon Manager通过自定义资源定义（CRD）和Argo Workflows实现此类Addon的生命周期管理。

依赖项

• kubernetes-1.12+
• kubectl-1.14+

安装

使用以下命令安装Addon Manager：

bash
kubectl kustomize github.com/keikoproj/addon-manager.git/config/default | kubectl apply -f -

核心功能与特性

• Addon生命周期管理：通过CRD定义Addon的全生命周期（prereqs、install、validate、delete）
• 参数注入：支持将Addon spec.params中的键值对作为全局参数注入到生命周期工作流中
• Argo Workflows集成：每个生命周期阶段通过内联Argo Workflow模板定义资源操作
• 标准化部署：提供Addon CRD规范，统一Addon的描述和管理方式

使用场景

• Kubernetes集群Addon的标准化部署与管理
• 大规模集群中Addon的生命周期自动化（安装、升级、删除）
• 需要多阶段验证和前置条件检查的Addon部署场景

使用方法

Addon CRD定义

Addon CRD定义了Addon的规范，包含必填和可选字段，以及生命周期阶段。以下是Addon CRD的设计规范示例：

yaml
apiVersion: addonmgr.keikoproj.io/v1alpha1
kind: Addon
metadata:
  name: fluentd-addon
  namespace: addon-manager-system
spec:
  pkgName: core/fluentd
  pkgVersion: v0.0.1
  pkgType: composite
  pkgDescription: 公司Fluentd插件。
  pkgDeps: 
    argoproj/workflows: v2.2.1
  params:
    namespace: mynamespace
    clusterContext:
      clusterName: "my-test-cluster"
      clusterRegion: "us-west-2"
    data:
      hec_splunk_server: hec.splunk.example.com
  selector:
    matchLabels:
      app.kubernetes.io/name: fluentd
      app.kubernetes.io/version: "1.0.0"
  lifecycle:
    prereqs:
      template: |
        apiVersion: argoproj.io/v1alpha1
        kind: Workflow
        ...
    install:
      template: |
        apiVersion: argoproj.io/v1alpha1
        kind: Workflow
        ...
    delete:
      template: | 
        apiVersion: argoproj.io/v1alpha1
        kind: Workflow
        ...
    validate:
      template: |
        apiVersion: argoproj.io/v1alpha1
        kind: Workflow
        ...

提交Addon

使用以下命令提交Addon定义：

bash
kubectl apply -f addon.yaml

生命周期阶段

Addon生命周期包含4个阶段（prereqs、install、validate、delete），每个阶段包含Name、Role和Template字段。Template需指定为内联Argo Workflow，用于定义该阶段的Kubernetes资源操作。

示例：prereqs阶段Workflow模板

yaml
prereqs:
  template: |
    apiVersion: argoproj.io/v1alpha1
    kind: Workflow
    metadata:
      generateName: prereqs-minion-manager-
    spec:
      entrypoint: entry
      serviceAccountName: addon-manager-workflow-installer-sa
      templates:
      - name: entry
        steps:
        - - name: prereq-resources
            template: submit
            arguments:
              artifacts:
              - name: doc
                path: /tmp/doc
                raw:
                  data: |
                    apiVersion: v1
                    kind: Namespace
                    metadata:
                      name: "{{workflow.parameters.namespace}}"
                    ---
                    apiVersion: v1
                    kind: ServiceAccount
                    metadata:
                      name: example-sa
                      namespace: "{{workflow.parameters.namespace}}"
      - name: submit
        inputs:
          artifacts:
            - name: doc
              path: /tmp/doc
        container:
          image: expert360/kubectl-awscli:v1.11.2
          command: [sh, -c]
          args: ["kubectl apply -f /tmp/doc"]

参数注入

Addon Manager会将spec.params中的键值对转换为全局工作流参数，可在Workflow模板中通过{{workflow.parameters.NAME}}引用。引用时需注意使用引号转义，避免解析错误。

最佳实践

• 命名空间隔离：每个Addon（除特殊情况外）应部署在独立命名空间，通过spec.params.namespace指定并在Workflow中模板化
• prereqs阶段：若Addon包含命名空间资源，应首先在prereqs阶段创建命名空间，随后按优先级部署其他非部署类资源
• install阶段：所有可部署资源（Deployment、Service、StatefulSet、DaemonSet等）应在install阶段部署

查看Addons

bash
kubectl get addons -n addon-manager-system

NAME                       PACKAGE                    VERSION       STATUS           AGE
addon-manager-argo-addon   addon-argo-workflow        v2.2.1        Succeeded        14m
cluster-autoscaler         cluster-autoscaler-addon   v0.1          Pending          1m
event-router               event-router               v0.2          Pending          1m
external-dns               external-dns               v0.2          Pending          1m
fluentd                    core/fluentd-addon         v0.0.1        Pending          1m
...

删除Addon

bash
kubectl delete -f addon.yaml

Addonctl

Addon Manager附带addonctl二进制工具，支持基于参数YAML文件和Python脚本生成默认Addon CR。目前为Pre-alpha版本，主要用于初始Addon生成，生成后可手动修改。

基本使用

bash
addonctl --help

命令输出：

bash
A control plane for managing addons

Usage:
  addonctl [command]

Available Commands:
  create      Create the addon resource with the supplied arguments
  help        Help about any command

Flags:
  -c, --channel string          Channel for the addon package
      --cluster-name string     Name of the cluster context being used
      --cluster-region string   Cluster region
      --deps string             Comma seperated dependencies list in the format 'pkgName:pkgVersion'
      --desc string             Description of the addon
      --dryrun                  Outputs the addon spec but doesn't submit
  -h, --help                    help for addonctl
      --install string          File or directory of resource yaml to submit as install step
  -n, --namespace string        Namespace where the addon will be deployed
  -p, --params string           Params to supply to the resource yaml
      --prereqs string          File or directory of resource yaml to submit as prereqs step
      --secrets string          Comma seperated list of secret names which are validated as part ofthe addon-manager-system namespace
      --selector string         Selector applied to all resources?
  -t, --type string             Addon package type
  -v, --version string          Addon package version

Use "addonctl [command] --help" for more information about a command.

Addonctl示例

bash
addonctl create my-addon -n my-addon-ns \
  --type composite \
  --version v0.2 \
  --cluster-name my.cluster.k8s.local \
  --cluster-region us-west-2 \
  --selector app:myaddon \
  --prereqs ./prereq_resources.yaml \
  --install ./install_resources.yaml \
  --dryrun

贡献

请参阅CONTRIBUTING.md。

开发者指南

请参阅DEVELOPER.md。

其他KeikoProj项目

https://github.com/keikoproj/instance-manager - https://github.com/keikoproj/kube-forensics - https://github.com/keikoproj/active-monitor - https://github.com/keikoproj/upgrade-manager - https://github.com/keikoproj/minion-manager - https://github.com/keikoproj/governor