apache/amoro

Apache Amoro Docker镜像文档

概述

Apache Amoro Docker镜像是基于 Apache Amoro 官方发行版构建的容器化部署包，用于快速部署和运行 Amoro 服务。该镜像集成了 Amoro 的核心组件，包括元数据服务、数据集成引擎和查询优化器，支持一键启动数据湖仓管理系统，简化部署流程，适用于开发、测试和生产环境。

核心功能

• 多数据格式支持：兼容 Apache Iceberg、Apache Hive、Delta Lake 等主流数据湖格式，统一管理不同类型数据。
• 实时数据集成：提供批处理和流处理数据接入能力，支持 Kafka、Flink、Spark 等数据源实时同步。
• 数据版本管理：自动维护数据版本历史，支持时间旅行查询和数据回溯，保障数据一致性。
• 元数据管理：集中管理数据湖元信息（表结构、分区、索引等），提供高效元数据查询接口。
• 查询性能优化：内置查询优化器，支持分区裁剪、谓词下推和索引加速，提升数据查询效率。

使用场景

• 实时数据湖构建：快速部署实时数据湖，集成多源数据并提供实时查询能力。
• 数据仓库加速：作为数据仓库的底层存储管理系统，优化数据存储和查询性能。
• 数据版本控制：需严格管理数据变更历史的场景，如***数据审计、数据回溯分析。
• 多团队协作：支持多租户隔离和权限控制，适用于多团队共享数据湖资源的场景。

使用方法

基本部署

通过以下命令快速启动 Amoro 服务（默认配置）：

bash
docker run -d \
  --name amoro-service \
  -p 8080:8080 \  # Web UI 端口
  -p 9090:9090 \  # RPC 服务端口
  apache/amoro:latest

自定义配置部署

如需使用自定义配置文件，可通过挂载本地配置目录覆盖默认配置：

bash
docker run -d \
  --name amoro-service \
  -p 8080:8080 \
  -p 9090:9090 \
  -v /path/to/local/conf:/opt/amoro/conf \  # 挂载本地配置目录
  -v /path/to/data:/opt/amoro/data \  # 挂载数据存储目录（持久化数据）
  apache/amoro:latest

配置参数

环境变量

配置文件

镜像默认配置文件位于 /opt/amoro/conf/amoro.properties，主要配置项包括：

• amoro.meta-store.uri：元数据存储地址（如 JDBC 连接串）
• amoro.storage.base-dir：数据存储根目录
• amoro.engine.type：计算引擎类型（local/yarn/k8s）
• amoro.security.enabled：是否启用安全认证（true/false）

访问与管理

服务启动后，可通过 http://<容器IP>:8080 访问 Amoro Web UI，进行数据湖配置、表管理和任务监控。默认管理员账号：admin，密码：admin（首次登录需修改）。

注意事项

• 生产环境建议挂载持久化存储卷，避免容器重启导致数据丢失。
• 如需集成外部数据源（如 Kafka、Hive Metastore），需在配置文件中添加对应连接信息。
• 高可用部署需配置集群模式，通过 amoro.cluster.nodes 指定节点列表。