apache/incubator-wayang

统一数据处理框架镜像

镜像概述

本镜像提供了一个功能完备的统一数据处理框架，旨在解决多数据平台环境下的数据处理流程整合问题。该框架通过集成各类主流数据处理平台，实现任务的统一编排、调度与管理，简化复杂数据处理流程的构建与维护，提升数据处理效率。

主要用途

• 整合企业内部多种数据处理平台（如Hadoop、Spark、Flink、Kafka等）
• 统一管理跨平台数据处理任务的生命周期
• 提供可视化界面进行任务编排与监控
• 简化数据处理流程的自动化与标准化

核心功能与特性

核心功能

1. 多平台集成：支持主流数据处理平台的无缝对接，包括Hadoop生态、Spark、Flink、Kafka、关系型数据库等
2. 任务编排：提供可视化拖拽式任务流设计，支持依赖关系定义、定时调度、条件分支等复杂流程逻辑
3. 统一监控：集成任务执行状态监控、资源使用统计、日志聚合功能，支持异常告警机制
4. 权限管理：基于角色的访问控制（RBAC），确保不同用户对任务和资源的操作权限隔离

关键特性

• 可扩展性：支持通过插件机制集成新的数据平台或自定义处理组件
• 高可用性：内置集群模式，支持主从节点部署，确保服务稳定运行
• 轻量化部署：容器化设计，降低环境依赖，简化部署与升级流程
• API支持：提供RESTful API与SDK，方便第三方系统集成与二次开发

使用场景与适用范围

适用场景

• 企业级数据处理中心：整合分散的数据分析、计算资源
• 数据流程自动化：构建从数据采集、清洗、转换到存储的全流程自动化任务
• 跨平台任务调度：统一管理运行在不同数据平台上的批处理与流处理任务
• 数据治理与合规：通过统一框架实现数据处理流程的标准化与审计追踪

适用范围

• 中大型企业IT团队
• 数据工程与数据科学团队
• 需整合多种数据处理工具的组织
• 对数据处理流程自动化有需求的业务场景

使用方法与配置说明

镜像拉取

bash
docker pull [镜像仓库地址]/unified-data-processing-framework:latest

基本运行命令

bash
docker run -d \
  --name data-processing-framework \
  -p 8080:8080 \  # 管理界面端口
  -p 8081:8081 \  # API服务端口
  -e FRAMEWORK_HOME=/app/data \
  -e LOG_LEVEL=INFO \
  -v /host/data:/app/data \  # 持久化数据目录
  [镜像仓库地址]/unified-data-processing-framework:latest

环境变量配置

Docker Compose配置示例

yaml
version: '3'
services:
  data-framework:
    image: [镜像仓库地址]/unified-data-processing-framework:latest
    container_name: data-framework
    ports:
      - "8080:8080"  # 管理界面
      - "8081:8081"  # API端口
    environment:
      - FRAMEWORK_HOME=/app/data
      - LOG_LEVEL=INFO
      - CLUSTER_MODE=false
    volumes:
      - ./data:/app/data  # 本地数据持久化
      - ./plugins:/app/plugins  # 插件目录
    restart: unless-stopped

扩展配置

自定义插件集成

1. 将插件JAR包放置于宿主机/plugins目录
2. 通过-v /host/plugins:/app/plugins挂载插件目录至容器
3. 重启容器后，在管理界面"插件管理"模块启用目标插件

常见问题

• Q: 如何查看任务执行日志？
  A: 可通过管理界面"日志中心"模块查看，或执行命令访问容器日志：docker exec -it data-processing-framework cat /app/logs/framework.log

• Q: 集群模式下如何扩展节点？
  A: 启动从节点容器时设置CLUSTER_MODE=true及MASTER_NODE=[主节点IP]，主节点会自动完成节点发现与配置同步。