jmsearcy/imageswap-webhook

Kubernetes镜像替换Mutating Admission Webhook

这是一个Kubernetes Mutating Admission Webhook示例。该Webhook会将部署中的现有镜像定义替换为用户指定的前缀+原镜像，允许在无法访问常用镜像仓库（如dockerhub、quay、gcr等）的无网络环境中使用相同的manifest文件。Webhook采用Python语言，基于Flask框架开发。

示例：

原镜像定义：

example-image:1.0

替换后的镜像：

/my/cool/prefix/example-image:1.0

前提条件

Kubernetes版本需1.9.0及以上，且启用admissionregistration.k8s.io/v1beta1 API。可通过以下命令验证：

$ kubectl api-versions | grep admissionregistration.k8s.io/v1beta1

预期结果：

admissionregistration.k8s.io/v1beta1

此外，MutatingAdmissionWebhook和ValidatingAdmissionWebhook准入控制器需添加到kube-apiserver的admission-control标志中，并按正确顺序排列。

构建镜像

• 本地构建镜像：

  $ cd ./docker/
  $ docker-compose build
  

• 推送镜像到仓库：

  $ docker login
  $ docker tag imageswap-webhook:0.1 jmsearcy/imageswap-webhook:0.1
  $ docker push jmsearcy/imageswap-webhook:0.1
  

部署Webhook

• 创建签名证书/密钥对，并存储到Kubernetes Secret：

  ./deploy/webhook-ssl-cert-gen.sh \
    --service imageswap-webhook-svc \
    --secret imageswap-webhook-certs \
    --namespace default
  

• 通过替换运行集群中的$CA_BUNDLE值，修补MutatingWebhookConfiguration：

  cat ./deploy/imageswap-webhook-mwc.yaml | \
    ./deploy/webhook-patch-ca-bundle.sh > \
    ./deploy/imageswap-webhook-mwc-patched.yaml
  

  注意：这些脚本来自https://github.com/morvencao/kube-mutating-webhook-tutorial%E3%80%82

• 通过Kubernetes ConfigMap部署脚本：

  $ kubectl create cm imageswap-webhook-cm --from-file=script=./app/imageswap-webhook-deploy.py
  

• 部署资源：

  $ kubectl apply -f ./deploy/imageswap-webhook-deploy.yaml
  $ kubectl apply -f ./deploy/imageswap-webhook-svc.yaml
  $ kubectl apply -f ./deploy/imageswap-webhook-mwc-patched.yaml
  

  注意：修改imageswap-webhook-deploy.yaml清单中的IMAGE_PREFIX环境变量定义，可自定义镜像前缀的仓库/注册表。

测试

• 创建测试命名空间并添加标签以启用镜像替换：

  $ kubectl create ns test1
  $ kubectl label ns test1 k8s.twr.io/imageswap=enabled
  

• 部署测试应用到Kubernetes集群：

  $ kubectl apply -f ./testing/test-deploy.yaml -n test1
  

• 查看部署和Pod规格，验证Webhook是否生效：

  $ kubectl get deploy hello-world -n test1 -o yaml
  $ kubectl get pods -n test1
  $ kubectl get pod <pod_name> -n test1 -o yaml
  

  注意：你应在test-deploy.yaml清单中看到替换后的镜像定义，而非原始定义。

故障排除

本地运行Docker镜像

$ docker run -p 5000:5000/tcp -it imageswapwebhook_app bash
$ ./deny-env.py

不使用Ingress/LB访问Kubernetes服务

$ kubectl get pods # 获取运行中的Pod名称
$ kubectl port-forward <pod_name> 5000:5000

使用Curl向Webhook服务器发送HTTP POST请求

$ curl -vX POST https://localhost:5000/ -d @test.json -H "Content-Type: application/json"

跟踪Webhook Pod的日志

$ kubectl get pods # 获取运行中的Pod名称
$ kubectl logs <pod_name> -f