apache/amoro-flink-optimizer

Apache Amoro Docker镜像文档

概述

Apache Amoro是一个开源的数据湖管理系统，旨在解决现代数据湖构建中的实时性、一致性和管理复杂性问题。作为湖仓一体架构的核心组件，Amoro提供统一的数据访问接口和全生命周期管理能力，支持多计算引擎协同工作，帮助用户高效整合分散数据资产，实现数据价值最大化。

核心功能和特性

多引擎兼容与生态整合

• 原生支持Apache Iceberg、Apache Hive、Apache Flink、Apache Spark等主流数据处理引擎
• 提供统一元数据管理层，确保跨引擎数据视图一致性
• 兼容Parquet、ORC等列存格式及CSV、JSON等通用格式

实时数据集成能力

• 内置CDC（变更数据捕获）模块，支持MySQL、PostgreSQL、Oracle等关系型数据库实时同步
• 低延迟数据写入通道，端到端同步延迟可控制在秒级
• 支持批流一体数据接入，统一处理历史数据与实时增量

事务一致性保障

• 基于乐观锁机制实现多版本并发控制（MVCC）
• 支持ACID事务特性，确保数据写入的原子性、一致性、隔离性和持久性
• 提供数据冲突自动检测与解决策略，保障多源写入可靠性

智能数据管理与优化

• 自动化数据分片、压缩与存储分层（热/温/冷数据）
• 元数据版本追踪与回溯功能，支持数据历史查询
• 内置数据优化器，自动执行小文件合并、过期数据清理等运维操作

高可用与可扩展性

• 分布式部署架构，无单点故障风险
• 元数据持久化存储设计，支持快速故障恢复
• 水平扩展能力，可通过增加节点提升数据处理吞吐量

使用场景

实时数据仓库构建

适用于需要实时接入业务数据并构建分析型数据仓库的场景，通过Amoro实现业务数据库与数据湖的实时同步，支持实时报表生成、动态决策分析等需求。

数据湖迁移与升级

帮助用户从传统HDFS原生存储或其他数据湖方案（如Hudi）平滑迁移至现代湖仓架构，兼容存量数据格式，降低迁移成本与业务中断风险。

多源数据整合

支持MySQL、PostgreSQL、Kafka、MongoDB等多源异构数据接入，统一管理分散在不同系统的数据资产，解决企业数据孤岛问题。

数据治理与合规管理

通过元数据血缘追踪、数据访问权限控制和数据质量监控功能，满足***、政务等行业的数据合规与治理要求。

使用方法

快速启动（Standalone模式）

使用以下命令快速启动单机版Apache Amoro容器：

bash
docker run -d \
  --name amoro-standalone \
  -p 8080:8080 \
  -e AMORO_MODE=standalone \
  -v /path/to/local/data:/opt/amoro/data \
  apache/amoro:latest

说明：/path/to/local/data 为本地数据目录挂载点，用于持久化存储元数据与配置文件

分布式部署（Docker Compose）

生产环境推荐使用分布式模式，通过Docker Compose集成依赖组件（如ZooKeeper、MySQL）：

yaml
version: '3.8'
services:
  amoro-server:
    image: apache/amoro:latest
    container_name: amoro-server
    ports:
      - "8080:8080"
    environment:
      - AMORO_MODE=distributed
      - SPRING_DATASOURCE_URL=jdbc:mysql://mysql:3306/amoro_metadata?useSSL=false
      - SPRING_DATASOURCE_USERNAME=amoro_admin
      - SPRING_DATASOURCE_PASSWORD=Amoro@123
      - ZOOKEEPER_QUORUM=zookeeper:2181
      - JAVA_OPTS="-Xms4g -Xmx8g"
    volumes:
      - amoro_data:/opt/amoro/data
    depends_on:
      - mysql
      - zookeeper

  mysql:
    image: mysql:8.0
    container_name: amoro-mysql
    environment:
      - MYSQL_ROOT_PASSWORD=Root@123
      - MYSQL_DATABASE=amoro_metadata
      - MYSQL_USER=amoro_admin
      - MYSQL_PASSWORD=Amoro@123
    volumes:
      - mysql_data:/var/lib/mysql
    ports:
      - "3306:3306"

  zookeeper:
    image: zookeeper:3.8
    container_name: amoro-zookeeper
    environment:
      - ZOO_MY_ID=1
      - ZOO_SERVERS=server.1=zookeeper:2888:3888;2181
    volumes:
      - zk_data:/data
      - zk_datalog:/datalog
    ports:
      - "2181:2181"

volumes:
  amoro_data:
  mysql_data:
  zk_data:
  zk_datalog:

核心环境变量配置

访问与初始化

1. 容器启动后，通过 http://<容器IP>:8080 访问Amoro Web控制台
2. 首次登录使用默认账号 admin/admin，建议立即修改密码
3. 参考 官方快速入门指南 完成数据源配置与同步任务创建

注意事项

• 生产环境需配置持久化存储卷，避免容器重启导致元数据丢失
• 元数据库建议使用MySQL/PostgreSQL等外部数据库，替代默认H2内存数据库
• 根据数据规模调整 JAVA_OPTS 参数，推荐生产环境配置 -Xms4g -Xmx8g 及以上内存
• 分布式部署时，确保ZooKeeper集群至少3节点以保证高可用性
• 定期备份元数据目录，可通过 docker exec amoro-server sh -c "tar -czf /backup/meta_$(date +%F).tar.gz /opt/amoro/data/meta" 实现自动化备份