apache/hop-web

Apache Hop Web 镜像文档

1. 镜像概述

Apache Hop Web 镜像基于 Apache Hop 数据集成平台构建，提供浏览器可访问的Web界面，用于简化数据集成工作流的设计、执行与监控。该镜像封装了Hop运行时环境及Web服务组件，支持用户通过可视化界面完成数据管道建模、任务调度和数据处理流程管理，无需本地安装复杂依赖。

2. 核心功能与特性

• 可视化管道设计：通过拖拽式界面设计数据转换（Transformations）和工作流（Workflows），支持节点间连接关系自动校验。
• 多数据源集成：兼容关系型数据库（MySQL、PostgreSQL等）、NoSQL数据库（MongoDB、Cassandra等）、文件系统（CSV、JSON、Excel）及云存储（S3、GCS）。
• 工作流调度与监控：内置定时任务调度器，支持CRON表达式配置；提供实时执行日志、任务状态监控及失败告警机制。
• 版本控制：集成Git版本控制，支持数据管道设计的版本管理、分支操作及协作开发。
• 扩展性：支持自定义插件开发，可扩展数据源类型、转换步骤及监控功能。

3. 使用场景

• 数据迁移：跨系统数据同步（如从业务数据库迁移至数据仓库）。
• ETL处理：数据抽取、清洗、转换与加载全流程自动化。
• 数据仓库构建：支持维度建模、事实表加载等数据仓库核心流程。
• 实时数据处理：结合流处理引擎（如Kafka）实现近实时数据管道。
• 数据治理：通过元数据管理、数据血缘追踪满足合规需求。

4. 使用方法与配置

4.1 基本使用（Docker Run）

通过以下命令快速启动Apache Hop Web服务：

bash
docker run -d \
  --name hop-web \
  -p 8080:8080 \
  -v /local/hop/projects:/opt/hop/projects \
  apache/hop-web:latest

• -p 8080:8080：映射容器8080端口至主机，用于Web访问。
• -v /local/hop/projects:/opt/hop/projects：挂载本地目录至容器，持久化存储数据管道项目文件。

4.2 环境变量配置

通过环境变量自定义服务配置，常用变量如下：

示例（自定义端口与内存）：

bash
docker run -d \
  --name hop-web \
  -p 9090:9090 \
  -e HOP_WEB_PORT=9090 \
  -e HOP_JAVA_OPTS="-Xmx1g -Xms512m" \
  -v /local/hop/projects:/opt/hop/projects \
  apache/hop-web:latest

4.3 持久化存储

为避免容器重启后数据丢失，需挂载以下目录：

• 项目文件：/opt/hop/projects（数据管道设计文件、元数据）
• 日志文件：/opt/hop/logs（执行日志、系统日志）
• 配置文件：/opt/hop/config（自定义配置、插件）

挂载示例：

bash
docker run -d \
  --name hop-web \
  -p 8080:8080 \
  -v /local/hop/projects:/opt/hop/projects \
  -v /local/hop/logs:/opt/hop/logs \
  -v /local/hop/config:/opt/hop/config \
  apache/hop-web:latest

4.4 Docker Compose 配置示例

创建docker-compose.yml文件简化部署：

yaml
version: '3.8'
services:
  hop-web:
    image: apache/hop-web:latest
    container_name: hop-web
    ports:
      - "8080:8080"
    environment:
      - HOP_SERVER_USER=admin
      - HOP_SERVER_PASSWORD=SecurePass123!
      - HOP_JAVA_OPTS="-Xmx2g -Xms1g"
    volumes:
      - ./hop/projects:/opt/hop/projects
      - ./hop/logs:/opt/hop/logs
      - ./hop/config:/opt/hop/config
    restart: unless-stopped

启动服务：docker-compose up -d

5. 访问与操作

1. 访问Web界面：服务启动后，通过浏览器访问 http://<主机IP>:8080。
2. 登录：使用配置的用户名/密码（默认admin/admin）登录系统。
3. 创建项目：在首页点击“New Project”，填写项目名称及存储路径。
4. 设计数据管道：
   • 新建“Transformation”：拖拽左侧组件（如“Table Input”“Filter Rows”“Table Output”）设计数据转换逻辑。
   • 新建“Workflow”：配置任务执行顺序、条件分支及调度规则。
5. 执行与监控：点击“Run”执行管道，通过“Execution History”查看执行日志及性能指标。

6. 注意事项

• 安全配置：生产环境需修改默认密码（通过HOP_SERVER_PASSWORD），并限制Web访问IP（结合反向代理如Nginx配置访问控制）。
• 资源需求：根据数据量调整JVM内存（HOP_JAVA_OPTS），建议生产环境至少分配2GB内存。
• 插件管理：自定义插件需放置于/opt/hop/plugins目录（通过数据卷挂载），重启容器后生效。
• 版本兼容性：不同版本镜像可能存在配置文件格式差异，升级前建议备份项目及配置数据。