nenoteerawat/kubespray

Kubespray：部署生产就绪的Kubernetes集群

!https://raw.githubusercontent.com/kubernetes-sigs/kubespray/master/docs/img/kubernetes-logo.png

镜像概述和主要用途

Kubespray是一个基于Ansible的工具，用于在多种环境中部署生产级别的Kubernetes集群。它提供了灵活的配置选项，支持高可用架构，并兼容主流云平台和裸金属服务器，帮助用户快速搭建稳定、可扩展的Kubernetes集群。

若有疑问，请查阅官方文档或加入Kubernetes Slack的**#kubespray**频道（可通过此链接获取邀请）。

核心功能和特性

• 多环境支持：可部署在AWS、GCE、Azure、OpenStack、vSphere、Packet（裸金属）、Oracle Cloud Infrastructure（实验性）或裸金属服务器
• 高可用集群：支持多主节点架构，确保集群稳定性
• 可组合配置：可选择网络插件等组件，灵活定制集群
• 广泛的Linux发行版支持：兼容主流Linux系统
• 持续集成测试：通过自动化测试确保部署流程可靠性

使用场景和适用范围

适用于需要在各类环境（云平台、裸金属）部署Kubernetes集群的场景，包括：

• 生产环境Kubernetes集群部署
• 开发/测试环境快速搭建
• 需要高可用架构的企业级Kubernetes集群
• 多节点、大规模Kubernetes集群部署

详细使用方法和配置说明

快速开始

Ansible部署

使用步骤

bash
# 从requirements.txt安装依赖
sudo pip install -r requirements.txt

# 将inventory/sample复制为inventory/mycluster
cp -rfp inventory/sample inventory/mycluster

# 使用inventory构建器更新Ansible inventory文件
declare -a IPS=(10.10.1.3 10.10.1.4 10.10.1.5)
CONFIG_FILE=inventory/mycluster/hosts.yml python3 contrib/inventory_builder/inventory.py ${IPS[@]}

# 查看并修改inventory/mycluster/group_vars下的参数
cat inventory/mycluster/group_vars/all/all.yml
cat inventory/mycluster/group_vars/k8s-cluster/k8s-cluster.yml

# 使用Ansible Playbook部署Kubespray（以root用户运行）
# 必须使用--become选项，因为需要写入SSL密钥到/etc/、安装软件包及与systemd守护进程交互
# 不使用--become会导致Playbook执行失败！
ansible-playbook -i inventory/mycluster/hosts.yml --become --become-user=root cluster.yml

注意：若控制机已通过系统包安装Ansible，通过sudo pip install -r requirements.txt安装的其他Python包可能位于与Ansible不同的目录树（例如Ubuntu上的/usr/local/lib/python2.7/dist-packages与/usr/lib/python2.7/dist-packages/ansible）。这可能导致ansible-playbook命令失败并显示：

ERROR! no action detected in task. This often indicates a misspelled module name, or incorrect module path.

通常指向依赖requirements.txt中模块的任务（如"unseal vault"）。

解决方法之一是卸载系统Ansible包并通过pip安装，但并非总是可行。另一种解决方法是在执行ansible-playbook前，设置ANSIBLE_LIBRARY和ANSIBLE_MODULE_UTILS环境变量，分别指向pip包安装位置的ansible/modules和ansible/module_utils子目录（可通过pip show [package]的Location字段获取）。

Vagrant部署

Vagrant部署需安装用于配置任务的Python依赖。

检查Python和pip是否安装：

bash
python -V && pip -V

若返回版本信息，则继续；否则从Python官网下载安装。

安装必要依赖：

bash
sudo pip install -r requirements.txt
vagrant up

文档资源

• Requirements
• Kubespray对比其他工具
• 快速入门
• Ansible inventory和标签
• 与现有Ansible仓库集成
• 部署数据变量
• DNS栈
• HA模式
• 网络插件
• Vagrant安装
• CoreOS引导
• Debian Jessie设置
• openSUSE设置
• 下载的 artifacts
• 云提供商
• OpenStack
• AWS
• Azure
• vSphere
• Packet Host
• 大规模部署
• 升级基础
• 路线图

支持的Linux发行版

• Container Linux by CoreOS
• Debian Buster、Jessie、Stretch、Wheezy
• Ubuntu 16.04、18.04
• CentOS/RHEL 7
• Fedora 28
• Fedora/CentOS Atomic
• openSUSE Leap 42.3/Tumbleweed
• Oracle Linux 7

注意：不支持基于Upstart/SysV init的操作系统。

支持的组件

核心组件

• https://github.com/kubernetes/kubernetes v1.15.3
• https://github.com/coreos/etcd v3.3.10
• docker v18.06（见注）
• cri-o v1.11.5（实验性：参见CRI-O说明，仅支持基于CentOS的系统）

网络插件

• https://github.com/containernetworking/plugins v0.8.1
• https://github.com/projectcalico/calico v3.7.3
• https://github.com/projectcalico/canal%EF%BC%88%E5%9F%BA%E4%BA%8Ecalico/flannel%E7%89%88%E6%9C%AC%EF%BC%89
• https://github.com/cilium/cilium v1.5.5
• https://github.com/contiv/install v1.2.1
• https://github.com/coreos/flannel v0.11.0
• https://github.com/cloudnativelabs/kube-router v0.2.5
• https://github.com/intel/multus-cni v3.2.1
• https://github.com/weaveworks/weave v2.5.2

应用组件

• https://github.com/kubernetes-incubator/external-storage v2.1.0-k8s1.11
• https://github.com/kubernetes-incubator/external-storage v2.1.1-k8s1.11
• https://github.com/jetstack/cert-manager v0.5.2
• https://github.com/coredns/coredns v1.6.0
• https://github.com/kubernetes/ingress-nginx v0.25.1

注：已验证的https://github.com/kubernetes/kubernetes/blob/master/CHANGELOG-1.13.md%E6%9B%B4%E6%96%B0%E4%B8%BA1.11.1%E3%80%811.12.1%E3%80%811.13.1%E3%80%8117.03%E3%80%8117.06%E3%80%8117.09%E3%80%8118.06%E3%80%82kubeadm%E7%8E%B0%E5%9C%A8%E5%8F%AF%E6%AD%A3%E7%A1%AE%E8%AF%86%E5%88%ABDocker 18.09.0及更高版本，但仍将18.06视为默认支持版本。kubelet可能因Docker非标准版本号（不再使用语义化版本）而出现问题。为确保自动更新不会破坏集群，建议使用yum versionlock插件或apt pin等工具。

要求

软件要求

• Kubernetes最低要求版本为v1.14
• 运行Ansible命令的机器需安装Ansible v2.7.8（或更新版本，但https://github.com/kubernetes-sigs/kubespray/issues/4778%EF%BC%89%E5%92%8Cpython-netaddr
• 运行Ansible Playbooks需Jinja 2.9（或更新版本）
• 目标服务器必须能够访问互联网以拉取Docker镜像，否则需额外配置（参见https://github.com/kubernetes-sigs/kubespray/blob/master/docs/downloads.md#offline-environment%EF%BC%89
• 目标服务器需配置为允许IPv4转发 -.** SSH密钥必须复制**到inventory中的所有服务器
• 防火墙未被管理，需自行实现规则；为避免部署问题，建议禁用防火墙
• 若从非root用户运行kubespray，需在目标服务器配置正确的权限提升方法，并指定ansible_become标志或命令参数--become/-b

硬件要求

以下为Kubespray保障的安全限制，实际工作负载需求可能不同。有关规模调整指南，请参阅构建大型集群。

• 控制节点
  • 内存：1500 MB
• 工作节点
  • 内存：1024 MB

网络插件

可选择10种网络插件（默认：calico，Vagrant默认使用flannel）。通过变量kube_network_plugin定义选择，也可选择利用云提供商内置网络。另请参见网络检查器。

• flannel：gre/vxlan（二层）网络
• calico：bgp（三层）网络
• https://github.com/projectcalico/canal%EF%BC%9Acalico%E5%92%8Cflannel%E6%8F%92%E4%BB%B6%E7%9A%84%E7%BB%84%E5%90%88
• cilium：三层/四层网络（以及七层应用协议保护），支持动态插入BPF字节码到Linux内核以实现安全服务、网络和可见性逻辑
• contiv：支持vlan、vxlan、bgp和Cisco SDN网络，可应用防火墙策略、在多网络中隔离容器及将Pod桥接到物理网络
• weave：轻量级容器覆盖网络，无需外部K/V数据库集群（请参考weave故障排除文档）
• kube-ovn：将基于OVN的网络虚拟化与Kubernetes集成，提供企业级高级容器网络架构
• kube-router：Kubernetes三层CNI，旨在提供操作简单性和高性能：使用IPVS提供Kube Services Proxy（若配置为替换kube-proxy），iptables用于网络策略，BGP用于ODS三层网络（可选与集群外BGP对等体建立BGP对等连接），还可选择将Kubernetes集群Pod CIDR、ClusterIP、ExternalIP和Load***IP的路由通告出去
• macvlan：Linux网络驱动，Pod拥有自己的唯一Mac和Ip地址，直接连接到物理（二层）网络
• multus：元CNI插件，为Pod提供多网络接口支持，每个接口通过Calico、macvlan等次要CNI插件处理CNI调用

社区文档和资源

• kubernetes.io/docs/getting-started-guides/kubespray/
• https://github.com/gregbkr/kubernetes-kargo-logging-monitoring by @gregbkr
• https://rsmitty.github.io/Terraform-Ansible-Kubernetes/ by @rsmitty
• 使用Kubespray部署Kubernetes集群（视频）

基于Kubespray的工具和项目

• https://github.com/digitalrebar/provision/blob/master/doc/integrations/ansible.rst
• https://github.com/kubernetes-sigs/kubespray/tree/master/contrib/terraform

CI测试

![构建图表]([***]

CI/端到端测试由Google（GCE）赞助，详情参见测试矩阵。