ivukotic/vpservice

VPservice

虚拟放置服务

镜像概述和主要用途

VPservice（虚拟放置服务）是用于管理虚拟放置(VP)的核心服务，通过配置文件管理网格结构，协调VP的分配与回收，监控服务器状态，并为客户端提供xcache服务器地址解析，确保VP资源的高效利用和系统的稳定运行。

核心功能和特性

1. 网格配置管理

   • 网格结构通过grid.json文件定义，可通过initialize_grid.py脚本上传至服务器。
   • 网格变更（添加/更新站点、删除站点）会触发网格版本更新，更新后的网格在未分配VP消耗完毕后生效（默认300个VP）。

2. 站点管理

   • 站点支持启用/禁用：禁用不会改变VP数量，仅在响应中排除禁用站点。
   • 站点删除：删除站点后，其所有VP分配将重新分配至"other"。

3. VP数量控制

   • Filler组件确保Redis中未分配VP数量维持在LWM（低水位线）和HWM（高水位线）之间，未分配VP用于加速VP交付。

4. Redis数据清理

   • 自动移除Redis中积累的无效数据集，维持数据有效性。

5. 心跳监控（Liveness）

   • 各xcache服务器向VPservice发送心跳，服务跟踪活跃服务器状态。

6. 客户端服务（Serving）

   • 支持为不同客户端分配不同xcache站点，单个客户端仅使用一个xcache。
   • 根据xcache站点和文件名，返回对应的服务器访问地址。

使用场景和适用范围

适用于需要动态管理虚拟放置资源、协调分布式xcache服务器与客户端访问的场景，尤其适合需要频繁调整网格配置、监控服务器状态及维护数据有效性的大型分布式系统。

使用方法和配置说明

网格初始化

1. 准备网格配置文件grid.json，定义站点结构。
2. 使用脚本上传配置：

   bash
   python initialize_grid.py
   

Redis数据清理（CleanUp）

随着时间推移，Redis会积累无效数据集，可按以下步骤清理：

1. 进入redis-master pod的shell：

   bash
   kubectl exec -it redis-master-<pod-id> -- /bin/bash
   

2. 复制执行CleanUp/dumpKeys.sh脚本中的命令，生成keys.txt和values.txt文件。
3. 将文件复制回lxplus：

   bash
   scp redis-master-<pod-id>:keys.txt .
   scp redis-master-<pod-id>:values.txt .
   

4. 在lxplus上配置rucio并获取网格代理，将文件放入CleanUp目录，执行清理脚本：

   bash
   python clean_vp.py
   

心跳监控

• xcache服务器需定期向VPservice发送心跳信号，服务自动跟踪并维护活跃服务器列表。

客户端服务

• 客户端根据配置绑定至特定xcache站点，通过服务接口传入xcache站点和文件名，获取对应的服务器访问地址。

工具（Tools）

该目录包含多个node.js脚本工具（需部分编码）：

• fix.js：遍历所有键并进行修改。
• dumpToES.js：将当前所有虚拟放置数据转储至Elasticsearch索引。

部署

（部署相关详细信息未提供，建议根据实际环境配置容器化部署参数，确保Redis连接、网络访问及资源分配正确。）