dwpdigital/dataworks-corporate-storage-coalescence

企业存储文件合并工具镜像

镜像概述和主要用途

本Docker镜像提供企业级文件合并功能，旨在将分散的企业存储文件整合为更大的对象。通过集中处理分散文件，可有效优化存储结构、减少存储碎片、提升数据管理效率，适用于各类企业存储系统的文件整合场景。

核心功能和特性

• 文件合并：支持将多个分散的企业存储文件合并为指定大小的大型对象
• 存储兼容性：兼容主流企业存储系统（如NFS、S3、CIFS等）
• 高效处理：采用并行处理机制，提升大规模文件合并效率
• 可配置参数：支持自定义合并后对象大小、文件筛选规则、输出格式等
• 日志记录：详细记录合并过程，便于问题排查与审计

使用场景和适用范围

• 企业存储系统碎片化治理，提升存储利用率
• 大型文件备份前的整合处理，减少备份次数与资源消耗
• 数据迁移前的文件预处理，优化迁移效率
• 大数据分析场景下的文件整合，便于后续数据处理
• 归档系统中的文件合并，节省存储空间并简化管理

使用方法和配置说明

基本使用（docker run）

bash
docker run -d \
  -v /path/to/source:/source \
  -v /path/to/output:/output \
  -e TARGET_SIZE=10GB \
  -e FILE_PATTERN="*.dat" \
  enterprise-file-coalescer:latest

docker-compose配置示例

yaml
version: '3'
services:
  file-coalescer:
    image: enterprise-file-coalescer:latest
    volumes:
      - /enterprise/storage/source:/source
      - /enterprise/storage/merged:/output
    environment:
      - TARGET_SIZE=5GB
      - FILE_PATTERN="*.log"
      - MERGE_FORMAT=tar
      - LOG_LEVEL=info
    restart: on-failure

环境变量配置

卷挂载说明

• /source：需挂载包含待合并文件的目录
• /output：需挂载用于存放合并后对象的目录

自定义配置文件

如需更复杂的合并规则，可通过挂载配置文件实现：

bash
docker run -d \
  -v /path/to/source:/source \
  -v /path/to/output:/output \
  -v /path/to/custom-config.yaml:/config/config.yaml \
  enterprise-file-coalescer:latest --config /config/config.yaml

配置文件格式示例（YAML）：

yaml
target_size: 20GB
file_pattern: "*.csv"
merge_format: zip
exclude_patterns:
  - "temp_*.csv"
  - "backup_*.csv"
output_naming: "merged_{timestamp}_{index}.zip"