synax/kubespray

部署生产就绪的Kubernetes集群

如果有问题，请加入 kubernetes slack 中的 #kubespray 频道。可通过 此处 获取邀请。

• 可部署在 AWS、GCE、Azure、OpenStack、vSphere、Oracle Cloud Infrastructure（实验性）或裸金属 环境
• 高可用性 集群
• 可组合性（例如可选择网络插件）
• 支持大多数主流 Linux发行版
• 持续集成测试

快速开始

要部署集群，可使用以下方法：

Ansible

bash
# 从 requirements.txt 安装依赖
sudo pip install -r requirements.txt

# 将 inventory/sample 复制为 inventory/mycluster
cp -rfp inventory/sample/* inventory/mycluster

# 使用 inventory 构建器更新 Ansible  inventory 文件
declare -a IPS=(10.10.1.3 10.10.1.4 10.10.1.5)
CONFIG_FILE=inventory/mycluster/hosts.ini python3 contrib/inventory_builder/inventory.py ${IPS[@]}

# 查看并修改 inventory/mycluster/group_vars 下的参数
cat inventory/mycluster/group_vars/all/all.yml
cat inventory/mycluster/group_vars/k8s-cluster/k8s-cluster.yml

# 使用 Ansible Playbook 部署 Kubespray - 以 root 身份运行 playbook
# 必须使用 -b 选项，例如向 /etc/ 写入 SSL 密钥、安装软件包以及与各种 systemd 守护进程交互。
# 不使用 -b 选项，playbook 将运行失败！
ansible-playbook -i inventory/mycluster/hosts.ini --become --become-user=root cluster.yml

注意：当控制机上已通过系统包安装 Ansible 时，通过 sudo pip install -r requirements.txt 安装的其他 Python 包将进入与 Ansible 不同的目录树（例如 Ubuntu 上的 /usr/local/lib/python2.7/dist-packages），而 Ansible 位于 /usr/lib/python2.7/dist-packages/ansible。因此，ansible-playbook 命令可能会失败并显示：

ERROR! no action detected in task. This often indicates a misspelled module name, or incorrect module path.

这通常指向依赖 requirements.txt 中模块的任务（例如 "unseal vault"）。

解决方法之一是卸载 Ansible 包，然后通过 pip 安装，但这并非总是可行。另一种解决方法是在执行 ansible-playbook 前，将 ANSIBLE_LIBRARY 和 ANSIBLE_MODULE_UTILS 环境变量分别设置为 pip 包安装位置的 ansible/modules 和 ansible/module_utils 子目录，可通过 pip show [package] 输出中的 Location 字段找到该位置。

Vagrant

对于 Vagrant，需要安装用于配置任务的 Python 依赖。检查是否安装了 Python 和 pip：

bash
python -V && pip -V

如果返回软件版本，则说明已安装。否则，请从 <[***]> 下载并安装 Python。安装必要的依赖：

bash
sudo pip install -r requirements.txt
vagrant up

文档

• 要求
• Kubespray 对比...
• 入门指南
• Ansible inventory 和标签
• 与现有 ansible 仓库集成
• 部署数据变量
• DNS 栈
• HA 模式
• 网络插件
• Vagrant 安装
• CoreOS 引导
• Debian Jessie 设置
• openSUSE 设置
• 下载的 artifacts
• 云提供商
• OpenStack
• AWS
• Azure
• vSphere
• 大规模部署
• 升级基础
• 路线图

支持的 Linux 发行版

• CoreOS Container Linux
• Debian Buster、Jessie、Stretch、Wheezy
• Ubuntu 16.04、18.04
• CentOS/RHEL 7
• Fedora 28
• Fedora/CentOS Atomic
• openSUSE Leap 42.3/Tumbleweed

注意：不支持基于 Upstart/SysV init 的操作系统类型。

支持的组件

核心组件

• https://github.com/kubernetes/kubernetes v1.12.1
• https://github.com/coreos/etcd v3.2.18
• docker v18.06（见说明）
• https://github.com/rkt/rkt v1.21.0（见说明 2）
• cri-o v1.11.5（实验性：参见 CRI-O 说明，仅支持基于 CentOS 的操作系统）

网络插件

• https://github.com/projectcalico/calico v3.1.3
• https://github.com/projectcalico/canal%EF%BC%88%E5%9F%BA%E4%BA%8E%E6%8C%87%E5%AE%9A%E7%9A%84 calico/flannel 版本）
• https://github.com/cilium/cilium v1.2.0
• https://github.com/contiv/install v1.1.7
• https://github.com/coreos/flannel v0.10.0
• https://github.com/weaveworks/weave v2.4.1
• https://github.com/cloudnativelabs/kube-router v0.2.1

应用组件

• https://github.com/kubernetes-incubator/external-storage v2.1.0-k8s1.11
• https://github.com/jetstack/cert-manager v0.5.0
• https://github.com/coredns/coredns v1.2.2
• https://github.com/kubernetes/ingress-nginx v0.19.0

说明：已验证的 https://github.com/kubernetes/kubernetes/blob/master/CHANGELOG-1.12.md 已更新为 1.11.1、1.12.1、1.13.1、17.03、17.06、17.09、18.06。kubelet 可能会因 docker 的非标准版本号（不再使用语义化版本）而出现问题。为确保自动更新不会破坏集群，可使用 yum versionlock 插件或 apt pin 等工具。

说明 2：rkt 作为 docker 的替代方案，仅支持控制平面（etcd 和 kubelet）。Kubernetes 集群工作负载和网络插件相关的 OS 服务仍使用 docker。此外，单个集群只能部署一种受支持的网络插件。

要求

• Ansible v2.5（或更新版本）和 python-netaddr 已安装在将运行 Ansible 命令的机器上
• 运行 Ansible Playbooks 需要 Jinja 2.9（或更新版本）
• 目标服务器必须能够访问互联网以拉取 docker 镜像。否则，需要额外配置（参见 https://github.com/kubernetes-incubator/kubespray/blob/master/docs/downloads.md#offline-environment%EF%BC%89
• 目标服务器已配置为允许IPv4 转发
• 您的 ssh 密钥必须复制到 inventory 中的所有服务器
• 防火墙未被管理，您需要按照常规方式实施自己的规则。为避免部署过程中出现问题，应禁用防火墙
• 如果从非 root 用户账户运行 kubespray，目标服务器应配置正确的权限提升方法。然后应指定 ansible_become 标志或命令参数 --become 或 -b

网络插件

您可以从 6 种网络插件中选择（默认：calico，Vagrant 除外，使用 flannel）

• flannel：gre/vxlan（第 2 层）网络
• calico：bgp（第 3 层）网络
• https://github.com/projectcalico/canal%EF%BC%9Acalico 和 flannel 插件的组合
• cilium：第 3/4 层网络（以及第 7 层，用于保护和保障应用协议安全），支持将 BPF 字节码动态插入 Linux 内核以实现安全服务、网络和可见性逻辑
• contiv：支持 vlan、vxlan、bgp 和 Cisco SDN 网络。该插件能够应用防火墙策略、在多个网络中隔离容器以及将 Pod 桥接到物理网络
• weave：轻量级容器覆盖网络，不需要外部 K/V 数据库集群（请参考 weave 故障排除文档）
• kube-router：Kubernetes 网络的 L3 CNI，旨在提供操作简单性和高性能：使用 IPVS 提供 Kube Services Proxy（如果设置为替换 kube-proxy），使用 iptables 实现网络策略，使用 BGP 实现 ods L3 网络（可选与集群外 BGP 对等体建立 BGP 对等连接）。它还可以选择性地将 Kubernetes 集群 Pod CIDRs、ClusterIPs、ExternalIPs 和 Load***IPs 的路由通告出去

选择由变量 kube_network_plugin 定义。还可以选择利用内置的云提供商网络。另请参见 网络检查器。

社区文档和资源

• kubernetes.io/docs/getting-started-guides/kubespray/
• https://github.com/gregbkr/kubernetes-kargo-logging-monitoring by @gregbkr
• https://rsmitty.github.io/Terraform-Ansible-Kubernetes/ by @rsmitty
• 使用 Kubespray 部署 Kubernetes 集群（视频）

基于 Kubespray 的工具和项目

• https://github.com/digitalrebar/provision/blob/master/doc/integrations/ansible.rst
• https://github.com/openstack/fuel-ccp-installer
• https://github.com/kubernetes-incubator/kubespray/tree/master/contrib/terraform

CI 测试

![构建图表]([***]

由 Google (GCE) 赞助的 CI/端到端测试。详见 测试矩阵。