esgfdeploy/thredds

THREDDS (ESGF部署专用) 镜像文档

镜像概述

主要用途

THREDDS（Thematic Real-time Environmental Distributed Data Services）是一个开源数据服务器，用于管理和提供对科学数据集的标准化访问。本镜像专为ESGF（Earth System Grid Federation，地球系统网格联盟）部署环境设计，提供预配置的THREDDS服务，可无缝集成到ESGF分布式数据服务架构，简化地球系统模型数据、气候数据等环境科学数据的共享与访问。

核心功能与特性

• 多协议数据访问：支持OPeNDAP、HTTP下载、WMS（Web Map Service）、WCS（Web Coverage Service）等多种数据访问协议，满足不同用户的数据获取需求。

• ESGF架构集成：预配置支持ESGF身份认证与授权机制，可与ESGF身份管理系统（IdP）对接，实现基于ESGF单点登录（SSO）的访问控制。

• 容器化部署优化：基于Docker容器封装，简化部署流程，确保环境一致性，支持快速扩展至ESGF分布式数据节点。

• 灵活配置能力：支持外部挂载配置文件与数据目录，允许用户自定义数据集目录（catalog）、服务策略及性能参数。

• 数据集管理功能：提供数据集元数据管理、目录服务及数据索引能力，支持NetCDF、GRIB等主流科学数据格式。

使用场景与适用范围

• ESGF数据节点部署：作为ESGF分布式数据服务架构的核心组件，部署于ESGF数据节点，提供地球系统模型输出数据的访问服务。

• 地球系统科学研究：为气候模型、大气模型、海洋模型等科研数据提供标准化访问接口，支持科研机构内部或跨机构数据共享。

• 环境数据服务平台：适用于需要管理和发布大量环境科学数据集的场景，如气象、水文、生态等领域的数据共享平台。

使用方法与配置说明

基本部署示例

Docker Run 命令

bash
docker run -d \
  --name esgf-thredds \
  -p 8080:8080 \  # 映射THREDDS服务端口（默认8080）
  -v /local/thredds/config:/usr/local/tomcat/content/thredds \  # 挂载配置目录（含threddsConfig.xml等）
  -v /local/esgf/data:/data \  # 挂载数据目录（存放待服务的数据集）
  -e ESGF_AUTH_ENABLED=true \  # 启用ESGF认证
  -e JAVA_OPTS="-Xmx4g" \  # 配置JVM内存（根据需求调整）
  esgf/thredds:latest

Docker Compose 配置（docker-compose.yml）

yaml
version: '3'
services:
  thredds:
    image: esgf/thredds:latest
    container_name: esgf-thredds
    ports:
      - "8080:8080"
    volumes:
      - ./config:/usr/local/tomcat/content/thredds  # 本地配置目录
      - ./data:/data  # 本地数据目录
    environment:
      - ESGF_AUTH_ENABLED=true
      - THREDDS_PORT=8080
      - LOG_LEVEL=INFO  # 日志级别：DEBUG/INFO/WARN/ERROR
      - JAVA_OPTS="-Xmx4g -Xms2g"  # JVM内存配置
    restart: unless-stopped

配置参数说明

环境变量

挂载卷

• 配置目录：本地目录挂载至容器内/usr/local/tomcat/content/thredds，需包含以下关键文件：

  • threddsConfig.xml：THREDDS核心配置文件（服务端口、协议支持、安全策略等）
  • catalog.xml：数据集目录定义文件（指定需服务的数据集路径及元数据）
  • ESGF认证相关文件（如hostcert.pem、hostkey.pem等SSL证书，当启用ESGF认证时）

• 数据目录：本地数据目录挂载至容器内/data，存放待通过THREDDS服务提供访问的数据集，支持递归识别子目录数据。

集成ESGF认证配置

当ESGF_AUTH_ENABLED=true时，需完成以下配置以启用ESGF认证：

1. 将ESGF签发的SSL证书（hostcert.pem、hostkey.pem）放置于挂载的配置目录下
2. 在threddsConfig.xml中添加安全约束配置：

   xml
   <Security>
     <SSL>
       <certificate>/usr/local/tomcat/content/thredds/hostcert.pem</certificate>
       <privateKey>/usr/local/tomcat/content/thredds/hostkey.pem</privateKey>
     </SSL>
     <AccessControl>
       <ESGFAuth enabled="true"/>
     </AccessControl>
   </Security>
   

3. 确保容器网络可访问ESGF身份提供商（IdP）服务端点

注意事项

• 数据权限：挂载的数据目录及文件需确保容器内用户（通常为tomcat）具有可读权限，建议设置目录权限为755，文件权限为644。
• 性能调优：根据数据集规模和访问量调整JAVA_OPTS内存参数，大型数据集建议配置-Xmx8g及以上。
• 版本兼容性：使用与ESGF部署版本匹配的镜像标签（如esgf/thredds:esgf3.1），具体参考ESGF官方部署文档。
• 日志查看：通过docker logs esgf-thredds查看服务运行日志，排查配置或数据访问问题。