ndslabs/gluster

NDSLabs GlusterFS集群文件系统支持

提供GlusterFS服务器和客户端的工具与支持。

支持场景

• 容器作为客户端：在容器内挂载存储
• 容器作为服务器：从容器提供存储服务
• 主机作为客户端：通过容器在主机内挂载存储
• 主机作为服务器：通过容器从主机提供存储服务

命令

• usage - 使用前请参考此命令获取说明（默认命令）

docker run --rm -it ndslabs/gluster usage

• server - 启动服务器（请参考usage或以下说明）
• client - 启动客户端（请参考usage或以下说明）

注意：运行时需添加 --cap-add SYS_ADMIN --device /dev/fuse 参数

前提条件

• 具备可挂载存储的集群系统（GlusterFS文件系统节点）
• 可挂载存储集群提供的GlusterFS卷的客户端集群系统
• 对GlusterFS有基本了解

约定

• 每个“池”对应一个LVM卷组，配置时每个卷组使用一个物理卷
• 可从卷组中分割多个逻辑卷作为池中的brick——即同一池可生成多个独立的集群卷
• 逻辑卷格式化为xfs（参数 -i size=512），以支持单个inode中的属性
• LVM卷组名称与集群卷“名称”匹配，标识每个服务器上的“池”
• 服务器上的brick本地逻辑卷挂载路径为 /var/glfs/<pool>/brick<#>——支持已知的集群内核操作系统
• 每个brick有一个包含数据的顶级brick目录（遵循Gluster约定）
  • 警告：直接写入brick会损坏卷

示例：具有2个存储挂载点和2个池的节点

磁盘设备：/dev/vdb1 /dev/vdb2
卷组：HA scratch
PV分配：vdb1->HA，vdb2->scratch
逻辑卷与挂载：/dev/mapper/HA-brick0:/var/glfs/HA/brick0  /dev/mapper/scratch-brick0:/var/glfs/scratch/brick0

主机存储设置（容器内的chroot环境）

初始化PV、创建每个池的VG和LV、格式化brick并挂载：

pvcreate /dev/vdb1
pvcreate /dev/vdb2
vgcreate HA /dev/vdb1
vgcreate scratch /dev/vdb2
lvcreate -l 100%VG HA -n brick0
lvcreate -l 100%VG scratch -n brick0
mkfs.xfs -i size=512 /dev/mapper/HA-brick0
mkfs.xfs -i size=512 /dev/mapper/scratch-brick0
echo "/dev/mapper/HA-brick0 /var/glfs/HA/brick0 xfs defaults 1 2" >> /etc/fstab 
echo "/dev/mapper/scratch-brick0 /var/glfs/scratch/brick0 xfs defaults 1 2" >> /etc/fstab 
mkdir /var/glfs/HA/brick0/brick
mkdir /var/glfs/scratch/brick0/brick

GFS设置

启动Gluster服务器容器并进入

docker run --restart=always --name=glusterfs --net=host --privileged -v /:/hostroot -v /var/glfs:/var/glfs -d ndslabs/gluster
docker exec -it glusterfs bash
# chroot /hostroot

初始化集群FS服务器

gluster peer probe 172.16.1.161
gluster peer probe 172.16.1.162 
gluster peer probe 172.16.1.163 
  ...

按池创建Gluster卷

示例：dvol1为条带卷，rvol1为复制卷

gluster volume create scratch transport tcp 172.16.1.162:/var/glfs/scratch/brick0 172.16.1.163:/var/glfs/scratch/brick0
gluster volume create rvol1 replica 2 transport tcp 172.16.1.162:/var/glfs/HA/brick0 172.16.1.163:/var/glfs/HA/brick0
gluster volume start HA
gluster volume start scratch
gluster volume list

客户端挂载

mount -t glusterfs 172.16.1.163:/scratch /scratch

启用目录级配额

gluster vol quota HA enable
gluster volume quota HA limit-usage /qtest 5GB
gluster volume quota HA list
    root@gs1:/run/gluster/dvol1/qtest# gluster volume quota dvol1 list
    Path                   Hard-limit Soft-limit   Used  Available
    --------------------------------------------------------------------------------
    /qtest                                     5.0GB       80%       5.0GB  0Bytes

• 客户端测试

root@gscli:/var/nds/dvol1/qtest# dd if=/dev/urandom of=random.img count=1024 bs=10M
dd: error writing 'random.img': Disk quota exceeded
dd: closing output file 'random.img': Disk quota exceeded

在容器内使用GlusterFS客户端挂载

docker run --privileged -it ndslabs/gluster bash
mkdir -p /var/nds/dvol1
mkdir -p /dev/nds/dvol2
mount -t glusterfs 172.16.1.163:/scratch /scratch

通过容器在主机内挂载

docker run -v /:/hostroot --net=host --privileged -it ndslabs/gluster bash
mkdir -p /hostroot/scratch
mount -t glusterfs 172.16.1.163:/scratch /hostroot/scratch

Kubernetes集群文件系统支持的Gluster客户端

• 启动节点kubelet时添加 --allow-privileged=true 参数
• 所有节点需在 /etc/kubernetes/config 中设置 KUBE_ALLOW_PRIV="--allow-privileged=true"
• 作为Daemon Set运行（参考 <[***]>）
• 快速启动模板：https://github.com/wattsteve

临时说明（等待文档更新）

SC运行：docker run --net=host --pid=host --privileged -v /dev:/dev -v /var:/var -v /run:/run -v /:/media/host -it ndslabs/gluster bash