hdfgroup/hsds

HSDS Docker镜像文档

镜像概述和主要用途

HSDS（Highly Scalable Data Service）是一个实现RESTful Web服务的HDF5数据存储系统，旨在提供高可扩展的数据存储与访问能力。该服务可通过Docker、Kubernetes或直接在主机上运行，支持AWS S3（及兼容S3 API的存储）、Azure Blob Storage或Posix文件系统作为存储后端。适用于需要通过Web接口高效管理和访问HDF5数据的场景，如科学数据共享、大数据存储与分析等。

核心功能和特性

• RESTful API支持：实现HDF5数据的RESTful访问，兼容HDF5数据模型
• 多存储后端兼容：支持AWS S3、Azure Blob Storage、Posix文件系统等
• 高可扩展性：可通过Docker Compose或Kubernetes实现集群部署，支持节点扩展
• 多客户端支持：提供Python客户端（h5pyd）、C/C++客户端（HDF REST VOL插件）
• 安全访问：支持用户认证与授权，可配置SSL加密通信
• 集成能力：可与JupyterLab等数据科学工具集成，提供便捷的数据访问环境

使用场景和适用范围

• 科学数据管理与共享：为科研团队提供集中式HDF5数据存储与Web访问能力
• 大数据分析平台：作为后端存储服务，支持大规模HDF5数据的高效读写
• Web应用集成：为Web应用提供HDF5数据的RESTful接口，实现数据可视化与交互
• 教学与实验环境：通过HDF Lab（集成JupyterLab的HSDS环境）提供教学和实验平台

详细使用方法和配置说明

环境准备

1. 安装Docker和Docker Compose
2. 准备对象存储（如AWS S3），创建专用存储桶
3. 配置本地DNS解析（修改/etc/hosts，如127.0.0.1 hsds.hdf.test）

环境变量配置

创建环境变量文件（如.bashrc），配置存储后端及访问参数：

bash
# AWS S3访问密钥（使用S3时需配置，EC2环境使用IAM角色可省略）
export AWS_ACCESS_KEY_ID=1234567890
export AWS_SECRET_ACCESS_KEY=ABCDEFGHIJKL
# 存储桶名称
export BUCKET_NAME=hsds.test
# AWS区域（S3存储桶所在区域）
export AWS_REGION=us-east-1
# S3网关地址（根据区域选择，参考AWS官方文档）
export AWS_S3_GATEWAY=http://s3.amazonaws.com
# HSDS服务端点（使用配置的DNS名称）
export HSDS_ENDPOINT=http://hsds.hdf.test

Docker部署步骤

1. 下载docker-compose.yml文件：

   bash
   wget https://github.com/HDFGroup/hsds/blob/master/docker-compose.yml
   

2. 启动服务（指定节点数量，默认1个）：

   bash
   docker-compose up -d --scale sn=${CORES} --scale dn=${CORES}
   

   其中CORES为所需容器数量（如CORES=2）

3. 验证容器运行状态：

   bash
   docker ps
   

   应显示hsds_head、hsds_async、hsds_sn_[1-n]、hsds_dn_[1-n]等容器

4. 验证服务就绪状态： 访问http://hsds.hdf.test/about，确认cluster_state为READY（可能需要1-2分钟）

客户端配置与测试

1. 安装Python客户端h5pyd：

   bash
   pip install h5pyd
   

2. 配置客户端：

   bash
   hsconfigure
   

   设置端点（如http://hsds.hdf.test）、管理员用户名/密码（默认admin/admin）

3. 验证服务状态：

   bash
   hsinfo
   

   确认服务器状态为READY

4. 创建测试目录与用户：

   bash
   hstouch /home/  # 创建根目录（注意末尾斜杠）
   hstouch -o test_user1 /home/test_user1/  # 创建用户目录
   

5. 运行集成测试：

   bash
   python testall.py --skip_unit
   

测试数据导入

1. 安装依赖工具：

   bash
   pip install h5py h5pyd
   

2. 下载测试文件：

   bash
   wget https://s3.amazonaws.com/hdfgroup/data/hdf5test/tall.h5
   

3. 创建测试目录并导入数据：

   bash
   hstouch -u test_user1 -p test /home/test_user1/test/  # 创建测试目录
   hsload -v -u test_user1 -p test tall.h5 /home/test_user1/test/  # 导入文件
   

4. 验证导入结果：

   bash
   hsls -r -u test_user1 -p test /home/test_user1/test/tall.h5
   

客户端开发

• Python客户端：使用h5pyd库（兼容h5py接口），详情见https://github.com/HDFGroup/h5pyd
• C/C++客户端：使用HDF REST VOL插件，实现HDF5 API通过HSDS访问数据，详情见REST VOL仓库

卸载

HSDS仅修改配置的对象存储桶数据，卸载步骤：

1. 删除Docker容器和镜像
2. 删除本地源代码文件
3. （可选）删除对象存储桶中的数据

反馈与支持

• Bug报告：提交issue至https://github.com/HDFGroup/hsds/issues
• 社区论坛：访问HSDS论坛获取帮助

许可

HSDS采用APACHE 2.0许可，详见https://github.com/HDFGroup/hsds/blob/master/LICENSE

与JupyterHub集成

HDF Group提供集成HSDS的JupyterLab环境（HDF Lab），包含：

• 16节点HSDS集群连接
• 每用户专用Xeon核心
• 10GB Posix磁盘空间
• 100GB S3存储（用于HDF数据）
• 示例程序与数据文件

注册HDF Lab：[***]

参考资源

• 官网：[***]
• 源码：https://github.com/HDFGroup/hsds
• REST API文档：[***]
• RESTful HDF5白皮书：[***]