minio/m3-nginx

m3 (mkube)

MinIO Kubernetes Cloud

镜像概述和主要用途

m3（mkube）是MinIO推出的基于Kubernetes的云存储解决方案，旨在简化MinIO存储集群的部署、管理和运维。该镜像提供自定义nginx工具，支持本地Kubernetes集群搭建、存储集群创建、多租户管理、节点配置、权限控制等核心功能，适用于开发测试环境和企业级云存储场景。

核心功能和特性

• 基于Kubernetes构建，支持本地集群（通过kind）快速部署
• 提供自定义nginx工具，用于路由和访问控制
• 完整的存储集群生命周期管理（创建、节点分配、存储组配置）
• 多租户管理，支持租户创建、用户及服务账户管理
• 支持KMS（密钥管理服务）自定义CA证书配置
• 集成Kubernetes仪表盘，便于集群监控和管理
• 提供Portal UI，支持Web界面访问和操作

使用场景和适用范围

• 开发/测试环境：快速搭建本地MinIO存储集群进行功能验证和集成测试
• 企业级存储：构建基于Kubernetes的分布式云存储，支持多租户隔离和资源管理
• 云原生部署：适用于需要容器化、自动化管理的存储解决方案
• 自定义存储配置：支持灵活的节点、卷配置及KMS安全增强

前提条件

软件依赖

• Docker
• kubectl 可通过以下命令下载二进制版本：

  bash
  curl -LO https://storage.googleapis.com/kubernetes-release/release/`curl -s https://storage.googleapis.com/kubernetes-release/release/stable.txt`/bin/linux/amd64/kubectl
  

• https://github.com/grpc-ecosystem/grpc-gateway

  bash
  go get github.com/grpc-ecosystem/grpc-gateway/protoc-gen-grpc-gateway
  go get github.com/grpc-ecosystem/grpc-gateway/protoc-gen-swagger
  go get github.com/golang/protobuf/protoc-gen-go
  

安装步骤

安装kind

bash
go get sigs.k8s.io/kind@v0.7.0

使用kind设置本地Kubernetes集群（m3cluster）

用于测试/开发的本地Kubernetes集群搭建：

在/k8s目录下执行：

bash
cd k8s/; ./create-kind.sh

访问Kubernetes仪表盘

启动kubectl代理

bash
kubectl proxy

登录仪表盘

访问地址：http://localhost:8001/api/v1/namespaces/kubernetes-dashboard/services/https:kubernetes-dashboard:/proxy/#!/login

获取访问令牌

bash
kubectl get secret $(kubectl get serviceaccount dashboard -o jsonpath="{.secrets[0].name}") -o jsonpath="{.data.token}" | base64 --decode

设置m3环境

（以下步骤假设您位于仓库的顶层目录）

本地构建m3

bash
make m3

构建本地Docker镜像并推送到Kubernetes

bash
make k8sdev TAG=minio/m3:dev

准备部署配置文件

• 复制模板文件：./k8s/deployments/m3-deployment.yaml.example 到 ./k8s/deployments/m3-deployment.yaml
• 编辑 m3-deployment.yaml，将所有 <TOKENS> 替换为实际值（例如 <DEV_EMAIL> 替换为个人***）
• 需配置有效的SMTP账户（推荐使用Gmail并启用低安全应用访问）

部署m3到Kubernetes

bash
kubectl apply -f k8s/deployments/m3-deployment.yaml

部署前端和后端门户

• 前端服务名称必须为 portal，并运行在80端口
• 构建并部署前端：

  bash
  cd portal-ui
  make k8sdev
  cd ..
  kubectl apply -f k8s/deployments/m3-portal-frontend-deployment.yaml
  

启动m3开发环境

bash
./m3 dev

激活账户

• 您将收到包含激活命令的邮件，执行：

  bash
  ./m3 set-password <YOUR_TOKEN>
  

登录集群

bash
./m3 login

为KMS使用自定义CA证书

m3支持为KMS配置自定义CA证书，步骤如下：

创建包含CA证书的ConfigMap

bash
kubectl create configmap kms-ca-cert --from-file=customCA.crt

配置环境变量

编辑 m3-deployment.yaml，取消以下环境变量的注释并设置值：

yaml
KMS_CA_CERT_CONFIG_MAP: "kms-ca-cert"  # ConfigMap名称
KMS_CA_CERT_FILE_NAME: "customCA.crt"   # 证书文件名

应用配置变更

bash
kubectl apply -f k8s/deployment/m3-deployment.yaml

存储集群管理

创建存储集群

bash
./m3 cluster sc add --name my-dc-rack-1

添加存储节点

bash
./m3 cluster nodes add --name node-1 --k8s_label m3cluster-worker --volumes /mnt/disk{1...4}

开发环境添加额外节点

bash
./m3 cluster nodes add --name node-2 --k8s_label m3cluster-worker2 --volumes /mnt/disk{1...4}
./m3 cluster nodes add --name node-3 --k8s_label m3cluster-worker3 --volumes /mnt/disk{1...4}
./m3 cluster nodes add --name node-4 --k8s_label m3cluster-worker4 --volumes /mnt/disk{1...4}

将节点关联到存储集群

bash
./m3 cluster nodes assign --storage_cluster my-dc-rack-1 --node node-1

开发环境关联剩余节点

bash
./m3 cluster nodes assign --storage_cluster my-dc-rack-1 --node node-2
./m3 cluster nodes assign --storage_cluster my-dc-rack-1 --node node-3
./m3 cluster nodes assign --storage_cluster my-dc-rack-1 --node node-4

创建存储组

bash
./m3 cluster sc sg add --storage_cluster my-dc-rack-1 --name group-1

租户和用户管理

添加租户

bash
./m3 tenant add company-name --admin_name="John Doe" --admin_email="email@domain.com"

指定短名称（适用于非URL友好的公司名称）

bash
./m3 tenant add "Commpany® Inc." --short_name company-inc --admin_name="John Doe" --admin_email="email@domain.com"

添加管理员用户

bash
./m3 admin add "Admin Name" admin@email.com

为租户创建桶

bash
# 简化格式
./m3 tenant bucket add tenant-short-name bucket-name

# 完整参数格式
./m3 tenant bucket add --tenant_name tenant-short-name --bucket_name bucket-name

为租户添加用户

bash
# 完整参数格式
./m3 tenant user add --tenant company-inc --name somename --email user@acme.com --password user1234

# 位置参数格式
./m3 tenant user add somename company-inc user@acme.com user1234

添加服务账户

bash
# 简化格式
./m3 tenant service-account add tenant-short-name service-account-name

# 完整参数格式
./m3 tenant service-account add --tenant_name tenant-short-name --name service-account-name --description "可选描述"

添加权限

授予用户对指定桶的写权限：

bash
./m3 tenant permission add acme SAMPLE allow write "bucketA,bucketB"

Web界面访问

访问租户MinIO服务UI

1. 执行 ./m3 dev 后，nginx路由会暴露在本地9000端口
2. 修改 /etc/hosts 添加记录：

   127.0.0.1   s3.localhost
   

3. 在浏览器中访问：http://company-short-name.s3.localhost:9000/（替换company-short-name为租户短名称）

访问M3 Portal服务UI

1. 配置端口转发：

   bash
   # 转发nginx-resolver服务（路由到MinIO租户）
   kubectl port-forward svc/nginx-resolver 9000:80
   
   # 转发portal-proxy服务（路由到Portal UI）
   kubectl port-forward svc/portal-proxy 9080:80
   

2. 在浏览器中访问：http://localhost:9080