quanted/mongo

本地Kubernetes开发指南

概述

本指南详细介绍了搭建本地Kubernetes开发所需的所有工具，帮助开发者在本地环境中使用Kubernetes进行开发。Kubernetes可在多种环境中运行，每种环境需要不同的配置和工具。本地开发将结合Minikube、VirtualBox和Docker，搭建单节点Kubernetes集群。

官方Kubernetes文档：https://www.google.com/url?q=https://kubernetes.io/docs&sa=D&ust=1551987821373000

术语

• 节点（Node）：工作机器，可以是虚拟机或物理机
• Pod：最小部署单元，在本指南中即Docker容器。为实现水平扩展，最佳容器设计模式是“每个Pod一个容器”
• 副本集（Replica Set）：控制当前可用Pod数量，若某个Pod故障，副本集会创建新Pod以维持指定数量
• 部署（Deployment）：管理Pod并设置副本集
• 服务（Service）：定义逻辑Pod集合及其访问策略的抽象
• 存储类（Storage Class）：允许声明“存储类”
• 持久卷声明（Persistent Volume Claim）：存储类的抽象，供Pod挂载卷使用
• 有状态集（Statefulset）：类似部署，但维护使用持久存储的状态

环境要求

• Docker - https://www.google.com/url?q=https://www.docker.com/get-started&sa=D&ust=1551987821375000
• Kubernetes CLI（kubectl）- https://www.google.com/url?q=https://kubernetes.io/docs/tasks/tools/install-kubectl/&sa=D&ust=1551987821376000
• 若从源码编译，需 https://www.google.com/url?q=https://golang.org/doc/install&sa=D&ust=1551987821376000
• Minikube - https://www.google.com/url?q=https://kubernetes.io/docs/tasks/tools/install-minikube/&sa=D&ust=1551987821376000
• VirtualBox - https://www.google.com/url?q=https://www.virtualbox.org/&sa=D&ust=1551987821377000（本指南基于Mac+VirtualBox，Minikube也支持Hyper-V，但因虚拟化限制未演示）

可选工具（非必需）：

• Kompose.io - 将docker-compose文件转换为Kubernetes YAML文件 https://www.google.com/url?q=https://github.com/kubernetes/kompose&sa=D&ust=1551987821377000

Minikube

Minikube是本地部署单节点Kubernetes集群的工具，虽与服务器或云部署不同，但提供了本地开发和测试环境。https://www.google.com/url?q=https://github.com/kubernetes/minikube&sa=D&ust=1551987821378000。

启动Minikube

安装所有依赖后，启动Minikube非常简单：

shell
$ minikube start

成功启动后，将创建Minikube虚拟机并更新Kubernetes配置。若使用Hyper-V，需指定虚拟机驱动和虚拟网络交换机：

shell
$ minikube start --vm-driver hyperv --hyperv-virtual-switch "MY_VIRTUAL_SWITCH"

（需提前创建虚拟交换机，Hyper-V虚拟交换机详情见https://www.google.com/url?q=https://docs.microsoft.com/en-us/windows-server/virtualization/hyper-v/get-started/create-a-virtual-switch-for-hyper-v-virtual-machines&sa=D&ust=1551987821380000）

自定义Minikube虚拟机名称

使用-p标志修改默认虚拟机名称：

shell
$ minikube start -p my-minikube

访问Minikube集群

获取Minikube VM IP（结合NodePort可访问集群部署）：

shell
$ minikube ip

打开Minikube集群仪表板：

shell
$ minikube dashboard

Kompose

（qed_kube非必需）

Kompose.io是Kubernetes工具，用于将docker-compose文件转换为kubectl可使用的YAML文件，或直接将docker-compose编排部署为Kubernetes。https://www.google.com/url?q=https://github.com/kubernetes/kompose&sa=D&ust=1551987821382000。

转换docker-compose文件

转换docker-compose.yml：

shell
$ kompose convert -f ./docker-compose.yml

默认副本数为1，卷类型为“persistentVolumeClaim”，可通过参数修改：

shell
$ kompose convert -f ./docker-compose.yml --replicas 3 --volumes "hostPath"

注意事项

• 使用hostPath卷时，卷目录必须位于docker-compose.yml中指定的仓库路径，数据不会在卷节点生命周期外持久化
• 持久化数据需创建persistentVolume和persistentVolumeClaim
• kompose convert仅生成hostPath、emptyDir和persistentVolumeClaim类型卷，persistentVolume需手动创建

直接部署docker-compose

在当前目录启动docker-compose.yml定义的服务：

shell
$ kompose up

支持指定副本数和卷类型：

shell
$ kompose up -f ./docker-compose.yml --replicas 3 --volumes "hostPath"

本地Docker仓库配置

Kompose up默认会构建并推送镜像到Docker仓库。使用第三方镜像（如MongoDB）时，可搭建本地仓库：

shell
$ docker run -d -p 5000:5000 --restart=always --name registry registry:2

将镜像仓库地址改为localhost:5000/qed_django即可推送到本地仓库。macOS可能需修改~/.docker/conf.json处理认证问题。

注意：Kompose仅支持docker-compose主要版本（'1.0'、'2.0'、'3.0'），暂无计划支持3.0以上版本。

Kubectl

https://kubernetes.io/docs/reference/kubectl/cheatsheet/

Kubernetes CLI提供创建Kubernetes组件和故障排查的所有命令，功能类似docker-compose或docker，但不构建镜像。以下是常用命令（主要基于YAML文件操作）：

基本操作

创建资源（从YAML文件）：

shell
$ kubectl create -f qed-django-deployment.yml

删除资源：

shell
$ kubectl delete deploy qed-django

资源类型可替换为pod、service、deploy（部署）、sts（有状态集）、pv（持久卷）、pvc（持久卷声明）等，使用--all删除所有同类资源。

查看资源：

shell
$ kubectl get pods

描述资源配置：

shell
$ kubectl describe deploy qed-django

更新资源配置（如扩展副本数）：

shell
$ kubectl scale --replicas=5 -f qed-django-deployment.yml 

查看Pod日志：

shell
$ kubectl logs qed-django

进入Pod：

shell
$ kubectl exec -it qed-django -- /bin/bash

QED Kubernetes

设计模式

采用“每个Pod一个容器”设计，每个Docker容器对应一个Deployment。Deployment定义期望状态（包含副本集和Pod），外部访问的容器需通过Service定义访问方式（端口等）。

注意事项

• 单节点部署（开发测试）使用hostPath卷，云部署（Azure/AWS）需替换为awsElasticBlockStore或AzureDisk等云服务商支持的卷类型
• MongoDB官方镜像不支持从macOS/Windows挂载卷，相关hostPath配置已注释，需根据部署环境调整
• hostPath卷需绝对路径，通过执行set-absolute-path.sh脚本动态更新路径（从backups/复制YAML文件并替换hostPath源路径为当前目录）
• 提供Shell脚本简化部署：
  • data-setup.sh（未完成）：下载并组织持久卷数据
  • qed-deploy-start.sh：创建所有QED部署
  • qed-service-start.sh：创建所有QED服务
  • qed-volume-start.sh：创建所有持久卷和持久卷声明
  • qed-start.sh：依次执行set-absolute-path.sh、qed-volume-start.sh、qed-service-start.sh、qed-deploy-start.sh
  • qed-stop.sh：删除所有QED Kubernetes资源
  • set-absolute-path.sh：更新卷hostPath源路径为当前目录

Kubernetes QED文件

Nginx

• qed-nginx-service.yml（定义80、443、7777端口访问）
• qed-nginx-deployment.yml（定义容器，包含certs和静态文件的hostPath卷）

Django

• qed-django-service.yml（定义8080端口访问）
• qed-django-deployment.yml（定义容器，包含secrets、collected_static等hostPath卷）
• qed-django-persistentVolumeClaim.yml（访问持久数据库文件）

Flask

• qed-flask-service.yml（定义8080端口访问）
• qed-flask-deployment.yml（定义容器，包含collected_static等hostPath卷）
• qed-flask-persistentVolumeClaim.yml（访问持久数据库文件）

Celery

• qed-celery-deployment.yml（定义容器，包含collected_static等hostPath卷）
• qed-celery-persistentVolumeClaim.yml（访问持久数据库文件）
• celery-flower-service.yml（定义5555端口访问）
• celery-flower-deployment.yml（定义容器）

CTS-NodeJS（未测试）

• cts-nodejs-service.yml（定义4000端口访问）
• cts-nodesj-deployment.yml（定义容器）

CTS-Manager（未测试）

• cts-manager-deployment.yml（定义容器）

CTS-Worker（未测试）

• cts-worker-deployment.yml（定义容器）

Redis

• redis-service.yml（定义6379端口访问）
• redis-deployment.yml（定义容器）
• redis-persistentVolumeClaim.yml

MongoDB

• mongodb-service.yml（定义27017端口访问）
• mongodb-statefulset.yml（定义容器）
• mongodb-persistentVolumeClaim.yml

HMS

• hms-dotnetcore-service.yml（定义80端口访问）
• hms-dotnetcore-deployment.yml（定义容器，包含App_Data和数据库文件的hostPath卷）

Dask-Scheduler

• dask-scheduler-service.yml（定义8786、8787端口访问）
• dask-scheduler-deployment.yml（定义容器）

Dask-Worker

• qed-dask-worker-deployment.yml（定义容器，包含qed的hostPath卷）

Tomcat（未测试）

• qed-tomcat-service.yml（定义80:8080端口访问）
• qed-tomcat-deployment.yml（定义容器，包含secrets、license等hostPath卷）

Postgres

• postgres-service.yml（定义5432端口访问）
• postgres-statefulset.yml（定义容器）
• postgres-persistentVolumeClaim.yml

卷

• qed-django-persistentVolume.yml
• qed-flask-persistentVolume.yml
• qed-celery-persistentVolume.yml
• redis-persistentVolume.yml
• mongodb-persistentVolume.yml
• postgres-persistentVolume.yml

Docker构建状态