flant/yandex-cloud-controller-manager

Yandex.Cloud的Kubernetes Cloud Controller Manager

概述

yandex-cloud-controller-manager是Yandex.Cloud的Kubernetes Cloud Controller Manager (CCM)实现。它允许您在Kubernetes集群上利用Yandex.Cloud提供的多项云服务功能。有关Kubernetes CCM的更多信息，请参见https://kubernetes.io/docs/tasks/administer-cluster/running-cloud-controller/%E3%80%82

目前，yandex-cloud-controller-manager实现了以下功能：

• NodeController - 负责为Kubernetes节点更新云服务提供商特定的标签和地址，并删除在云上已被删除的Kubernetes节点。
• ServiceController - 负责在Kubernetes中创建Type: LoadBalancer类型的服务时创建负载均衡器。
• RouteController - 负责创建路由以实现Pod间的网络通信。

开发中

该项目目前处于积极开发阶段。请自行承担使用风险！欢迎贡献代码！

快速开始

要求

在当前Kubernetes状态下，运行Cloud Controller Manager (CCM)需要满足一些条件。请仔细阅读这些要求，因为它们对于在Yandex.Cloud的Kubernetes集群上运行CCM至关重要。

版本

Kubernetes 1.16+

云资源

• 所有Kubernetes节点必须位于同一个文件夹（Folder）中。有关文件夹的更多详细信息，请参考官方文档。
• Kubernetes节点名称必须与VM名称匹配。默认情况下，kubelet会根据节点主机名命名节点。在Yandex.Cloud上，节点主机名基于VM名称设置。因此，Kubernetes上的节点名称必须与对应的VM名称匹配，否则CCM将无法找到对应的云资源。

集群配置

• kubelet必须使用--cloud-provider=external参数运行。这确保kubelet知道在被调度工作之前必须由CCM初始化。
• kube-apiserver和kube-controller-manager不得设置--cloud-provider标志，这会默认它们不使用原生云服务提供商。

警告：设置--cloud-provider=external会给集群中的所有节点添加node.cloudprovider.kubernetes.io/uninitialized污点。CCM负责在完成节点初始化后移除这些污点。这意味着在CCM运行之前，大多数Pod将无法调度。

部署

注意：Yandex.Cloud文档中“网络”（Network）和“VPC”可互换使用。如果配置中需要“子网ID”（Subnet ID），会明确说明。

认证与配置

yandex-cloud-controller-manager需要服务账户JSON、文件夹ID和云唯一集群名称，并通过以下环境变量存储：

• YANDEX_CLOUD_SERVICE_ACCOUNT_JSON
• YANDEX_CLOUD_FOLDER_ID
• YANDEX_CLUSTER_NAME

默认清单配置为从名为yandex-cloud的secret中设置这些环境变量：

bash
$ cat <<EOF | kubectl apply -f -
apiVersion: v1
kind: Secret
metadata:
  labels:
    k8s-app: yandex-cloud-controller-manager
  name: yandex-cloud
  namespace: kube-system
stringData:
  service-account-json: |
    {
       "id": "ajesh3orip69r0vctpf5",
       "service_account_id": "aje3qbblkdf2u2avn4n7",
       "created_at": "2020-01-20T07:43:49Z",
       "key_algorithm": "RSA_2048",
       "public_key": "-----BEGIN PUBLIC KEY-----\nMIIBIjANBgkqhkiG9w0BAQEFAAOCAQ8AMIIBCgKCAQEAozah4aqf9xkMLRRtNJjz\nZ+xooLV6GLGaHbkl3796r2zWbgm1aNU3xILGeStdTM5XbB651OAfq7YyHoDSiZkj\nBP6W2ZYNO/WjK9N13rWhtFjNiDulLh3LAU47qNy75OsC3SjW58MVHPNriIgB0HLA\nHRE6cguUJtUcKWqOKhoKQVJxXLOhsdjmEEdnHtd9ro3UCcPM7r6fc+MmkCaZgTNl\nkItkDDxodTIqj3Go2EiEyO2DaMye+GqTzSNJOYaHFH4DYhCCgE1/SCY356nER2qH\nymbAGkD2fAp2eGoCEM67AgqrWFEm/yI+FlIvcrn7wC6+NfWUVqPb+N4wuiehCRBO\n8wIDAQAB\n-----END PUBLIC KEY-----\n",
       "private_key": "-----BEGIN PRIVATE KEY-----\nMIIEvQIBADANBgkqhkiG9w0BAQEFAASCBKcwggSjAgEAAoIBAQCjNqHhqp/3GQwt\nFG00mPNn7GigtXoYsZoduSXfv3qvbNZuCbVo1TfEgsZ5K11MzldsHrnU4B+rtjIe\ngNKJmSME/pbZlg079aMr03XetaG0WM2IO6UuHcsBTjuo3Lvk6wLdKNbnwxUc82uI\niAHQcsAdETpyC5Qm1Rwpao4qGgpBUnFcs6Gx2OYQR2ce132ujdQJw8zuvp9z4yaQ\nJpmBM2WQi2QMPGh1MiqPcajYSITI7YNozJ74apPNI0k5hocUfgNiEIKATX9IJjfn\nqcRHaofKZsAaQPZ8CnZ4agIQzrsCCqtYUSb/Ij4WUi9yufvALr419ZRWo9v43jC6\nJ6EJEE7zAgMBAAECggEAF0hi3XNesHw1PXUNgxRSnL+fyVU6Hq2vQ5A28+03zjCj\ngj0GUPchpnnVYFGsVJmW5QiZD+INAozSJ4HPBuv+j+bVlCKQrr4C0eyvgt68O6Lz\nZvzDOonrfLsxTYx3jVdtKCl8RsGQkHm1HFvyjk7gUwUzJjO6pbN++fWGZEEkt16W\nFHaGldz2MvZKOwQwj0WUcjF4X8PWTvJ0Ar1i5XoAm35GN+2ziwJKcNt+DsJ3N6MW\ngAkivYE8f44T3fQFg5M1RC6v2Jp2lmtVRxYRI0rcie+HyxJVcHgWTZPdTkwGWKDD\nnRU2OTJoZCJf3BunFtB1P8W+GlmLFdBjTppFhgqI6QKBgQDO61fX49qVRDmORYor\nVWh1tZkw546llwkNqLAe1QoLhqjHGctUs3lOczDqI82PwGKb423JdgKmr9nzrCZW\nq5a/BulHdsGsvkSBGK091fhQYRQnaTF7bnXoyVI8qUerGiV/a8/7W1SM+WIJayZ3\nr5Z9xV9LH/Wy7uWW7Xr2LvP97wKBgQDJ7VuYZVJ17hPIqEaR3P1Jvka+RvusWTPw\n1o6O935tW28Q/S2J661Dv92mTNmll/beyFS1ZkHdQ/1c/92Pr1bM/A4CrQoNDvad\nhd2MnyzVYyHc4p6Yd6VmZisbPpTfa7ZJMzYUN27nj+yPxJyZ/EoLlcXaXcPV3kFo\nZsubNT0DPQKBgQCz/nLmgPWWnMd4ZDOB6IS6yCKfMP6cOtsMP64c0/Mt/ZB5yY1f\ne9PNE1T8h/J71r2wn1DUS8yYlSYB2sFq6U5zk55/pOVq0AQlTIL+5E9iFGCEu/Po\nTDlTKzVXQWXviAoQYoeEPnk5PII0cToAKQS/GV8AqaeAZGHhPWmWF1f1jwKBgHQx\nJ6aejv+bGjk5Uzo1rm3TloOA9uqqfa/U1j0//rjQhy2AccbOHWpBqjo6OHcH5Z82\nKUAkcjvvFoiAFq7KVykm1K0HgyQWeyQTVnPHWBYFsAOZR2c2Wa99lMpdjW6uXTrr\nw++IIkIO2DG2EeKtgLH/4dSQZdLXzE1V8U0DKnOFAoGAQNCBpnE1WHR9H5APr5SF\nuD35dTm3O2OvczlbB0MUhx8R7qPpvLwA5HRSIKAKxobUbGpdgCy6WuncRWg+TjaD\n8zlwZvG2+vtntCFPcIT6ZpGH6k9ppXOPJBxaHZRHJSoilGhF1KvrmY8T5WxTVuyM\nnmypFU40LHcTmvw/a6JY+BM=\n-----END PRIVATE KEY-----\n"
    }
  folder-id: "b1g4c2a3g6vkffp3qacq"
EOF

安装 - 带RBAC

bash
kubectl apply -f manifests/yandex-cloud-controller-manager-rbac.yaml
kubectl apply -f manifests/yandex-cloud-controller-manager.yaml

安装 - 不带RBAC

bash
kubectl apply -f manifests/yandex-cloud-controller-manager.yaml

注意：manifests文件夹中的部署文件仅作为示例。它们在大多数情况下可用，但可能无法直接适用于您的集群。

子系统特定信息

节点控制器（Node Controller）

CCM环境变量

• YANDEX_CLOUD_INTERNAL_NETWORK_IDS – 逗号分隔的网络ID列表。用于扫描Yandex实例并填充相应Kubernetes节点时选择InternalIP。
  • 可选。
  • 若存在，将遍历实例的所有接口并选择与网络ID匹配的地址。
  • 若不存在，将使用第一个接口的IP地址作为InternalIP。
• YANDEX_CLOUD_EXTERNAL_NETWORK_IDS – 逗号分隔的网络ID列表。用于扫描Yandex实例并填充相应Kubernetes节点时选择ExternalIP。
  • 可选。
  • 若存在，将遍历实例的所有接口并选择与网络ID匹配的私有地址。
  • 若不存在，将使用第一个启用一对一NAT的接口的公共地址，或不设置。

服务控制器（Service Controller）

操作特性

由于Yandex.Cloud的目标组（TargetGroup）无法创建重复（相同子网ID和IP地址）的目标，此CCM会获取集群中的所有节点，通过API找到对应的Yandex.Cloud实例，扫描实例的接口并确定这些实例上存在的所有网络ID集合。然后，创建以这些网络ID命名的多个目标组，包含来自相应网络的目标。

由于API限制，每个网络ID在实例网络接口中每个可用区只能存在一个子网。

CCM环境变量

• YANDEX_CLOUD_DEFAULT_LB_TARGET_GROUP_NETWORK_ID – 创建网络负载均衡器（NetworkLoad***s）时用于目标组的默认网络ID。
  • 必选。
• YANDEX_CLOUD_DEFAULT_LB_LISTENER_SUBNET_ID – 创建网络负载均衡器监听器时使用的默认子网ID。
  • 注意！ 所有新创建的NLB都将是内部的。可通过服务注解 yandex.cpi.flant.com/loadbalancer-external覆盖。

服务注解

• yandex.cpi.flant.com/target-group-network-id – 按服务覆盖YANDEX_CLOUD_DEFAULT_LB_TARGET_GROUP_NETWORK_ID。
• yandex.cpi.flant.com/listener-subnet-id – 用于创建网络负载均衡器监听器的默认子网ID。网络负载均衡器将是内部的。
• yandex.cpi.flant.com/listener-address-ipv4 – 选择预定义的IPv4地址。适用于内部和外部网络负载均衡器。
• yandex.cpi.flant.com/loadbalancer-external – 按服务覆盖YANDEX_CLOUD_DEFAULT_LB_LISTENER_SUBNET_ID。

开发

yandex-cloud-controller-manager使用Google的Go编程语言编写。目前，它在Go 1.13.6上开发和测试。如果您尚未设置Go开发环境，请按照https://golang.org/doc/install%E6%93%8D%E4%BD%9C%E3%80%82

下载源码

bash
$ go get -u github.com/flant/yandex-cloud-controller-manager
$ cd $(go env GOPATH)/src/github.com/flant/yandex-cloud-controller-manager

依赖管理

yandex-cloud-controller-manager使用https://github.com/golang/go/wiki/Modules%E7%AE%A1%E7%90%86%E4%BE%9D%E8%B5%96%E3%80%82

构建二进制文件

要构建yandex-cloud-controller-manager二进制文件，运行：

bash
$ make build

构建Docker镜像

要构建Docker镜像，使用以下make目标：

bash
$ DOCKER_TAG=dev make docker-build