openbookpublishers/thoth-dissemination

Thoth 元数据与文件分发镜像

镜像概述

本Docker镜像旨在实现Thoth系统与各类分发/归档平台之间的无缝对接，提供工作元数据和文件的自动化分发能力。通过标准化的接口和配置，简化从Thoth提取数据并推送至目标平台的流程，适用于需要高效管理和分发数字资产的场景。

核心功能与特性

1. 数据同步能力

• 支持Thoth系统工作元数据（包括工作ID、描述、作者信息、关联资源等）的提取与格式转换
• 实现文件内容（文档、数据集、媒体文件等）的安全传输与校验

2. 多平台适配

• 兼容主流分发/归档平台协议与接口，包括但不限于：
  • 对象存储服务（S3、GCS等）
  • 文件传输协议（FTP/SFTP）
  • 学术知识库系统（如Invenio、DSpace）
  • 通用API接口的自定义平台

3. 自动化与可靠性

• 支持定时触发或事件驱动的自动化分发流程
• 内置错误重试机制与传输状态监控
• 完整的操作日志记录，便于问题排查与审计

4. 配置灵活性

• 通过环境变量或配置文件实现参数自定义
• 支持分发策略配置（如增量同步、全量更新、文件过滤规则）

使用场景与适用范围

典型应用场景

• 学术成果管理：高校或研究机构将Thoth管理的论文、数据集自动归档至机构知识库
• 数字资产管理：企业将产品文档、媒体资源从Thoth同步至CDN或分发网络
• 数据发布流程：科研团队将实验数据通过Thoth自动推送至公共数据平台（如Zenodo、Dryad）
• 内容同步系统：媒体机构实现内容从创作管理系统（Thoth）到发布平台的自动化流转

适用用户

• 研究机构的IT运维团队
• 数字图书馆管理员
• 内容分发平台的系统集成工程师
• 需要自动化数据流转的开发团队

使用方法与配置说明

基本使用（Docker Run）

bash
docker run -d \
  --name thoth-disseminator \
  -e THOTH_API_URL="https://thoth.example.com/api/v1" \
  -e THOTH_AUTH_TOKEN="your-thoth-access-token" \
  -e TARGET_PLATFORM_TYPE="s3" \
  -e TARGET_PLATFORM_CONFIG='{"endpoint":"s3.example.com","bucket":"thoth-archive","region":"us-east-1"}' \
  -e SYNC_INTERVAL="3600" \  # 同步间隔（秒），0表示仅执行一次
  thoth/disseminator:latest

环境变量配置说明

镜像概述

本Docker镜像旨在实现Thoth系统与各类分发/归档平台之间的无缝对接，提供工作元数据和文件的自动化分发能力。通过标准化的接口和配置，简化从Thoth提取数据并推送至目标平台的流程，适用于需要高效管理和分发数字资产的场景。

核心功能与特性

1. 数据同步能力

• 支持Thoth系统工作元数据（包括工作ID、描述、作者信息、关联资源等）的提取与格式转换
• 实现文件内容（文档、数据集、媒体文件等）的安全传输与校验

2. 多平台适配

• 兼容主流分发/归档平台协议与接口，包括但不限于：
  • 对象存储服务（S3、GCS等）
  • 文件传输协议（FTP/SFTP）
  • 学术知识库系统（如Invenio、DSpace）
  • 通用API接口的自定义平台

3. 自动化与可靠性

• 支持定时触发或事件驱动的自动化分发流程
• 内置错误重试机制与传输状态监控
• 完整的操作日志记录，便于问题排查与审计

4. 配置灵活性

• 通过环境变量或配置文件实现参数自定义
• 支持分发策略配置（如增量同步、全量更新、文件过滤规则）

使用场景与适用范围

典型应用场景

• 学术成果管理：高校或研究机构将Thoth管理的论文、数据集自动归档至机构知识库
• 数字资产管理：企业将产品文档、媒体资源从Thoth同步至CDN或分发网络
• 数据发布流程：科研团队将实验数据通过Thoth自动推送至公共数据平台（如Zenodo、Dryad）
• 内容同步系统：媒体机构实现内容从创作管理系统（Thoth）到发布平台的自动化流转

适用用户

• 研究机构的IT运维团队
• 数字图书馆管理员
• 内容分发平台的系统集成工程师
• 需要自动化数据流转的开发团队

使用方法与配置说明

基本使用（Docker Run）

bash
docker run -d \
  --name thoth-disseminator \
  -e THOTH_API_URL="https://thoth.example.com/api/v1" \
  -e THOTH_AUTH_TOKEN="your-thoth-access-token" \
  -e TARGET_PLATFORM_TYPE="s3" \
  -e TARGET_PLATFORM_CONFIG='{"endpoint":"s3.example.com","bucket":"thoth-archive","region":"us-east-1"}' \
  -e SYNC_INTERVAL="3600" \  # 同步间隔（秒），0表示仅执行一次
  thoth/disseminator:latest

环境变量配置说明

Docker Compose配置示例

yaml
version: '3.8'

services:
  thoth-disseminator:
    image: thoth/disseminator:latest
    container_name: thoth-disseminator
    restart: unless-stopped
    environment:
      - THOTH_API_URL=https://thoth.example.com/api/v1
      - THOTH_AUTH_TOKEN=${THOTH_TOKEN}  # 建议通过.env文件注入敏感信息
      - TARGET_PLATFORM_TYPE=invenio
      - TARGET_PLATFORM_CONFIG={"api_url":"https://invenio.example.com/api","pid_prefix":"10.5281"}
      - SYNC_INTERVAL=86400  # 每日同步一次
      - LOG_LEVEL=INFO
    volumes:
      - ./logs:/app/logs  # 挂载日志目录（可选）

目标平台配置示例

1. S3兼容存储

json
{
  "endpoint": "s3.amazonaws.com",
  "bucket": "thoth-archive",
  "region": "us-east-1",
  "access_key": "AKIAEXAMPLE",
  "secret_key": "secret",
  "path_style_access": false
}

2. FTP服务器

json
{
  "host": "ftp.example.com",
  "port": 21,
  "username": "ftp-user",
  "password": "ftp-pass",
  "remote_path": "/thoth-uploads"
}

3. Invenio知识库

json
{
  "api_url": "https://invenio.example.com/api",
  "pid_prefix": "10.5281",
  "oauth_token": "invenio-oauth-token",
  "community_id": "thoth-community"
}

注意事项

1. 安全建议：敏感配置（如认证令牌、访问密钥）应通过环境变量或安全的配置管理方式注入，避免硬编码在镜像或配置文件中
2. 网络要求：确保容器能够同时访问Thoth系统API和目标平台服务端口
3. 版本兼容性：请根据Thoth系统版本选择匹配的镜像版本，详细版本对应关系参见项目发布说明
4. 资源需求：根据传输文件大小和频率调整容器CPU/内存资源，建议至少分配512MB内存