couchbase/enterprise-analytics

Enterprise Analytics 镜像文档

概述

Enterprise Analytics 是一款自管理的原生JSON NoSQL分析数据库，旨在统一来自不同来源的数据，支持执行复杂分析查询并提取实时洞察。该数据库充分利用NoSQL的分析能力，与Couchbase Server和Couchbase Capella云平台无缝集成，可构建实时自适应应用。

传统上，在NoSQL数据库中分析JSON数据需进行复杂转换（如扁平化），导致延迟并阻碍实时洞察。Enterprise Analytics通过统一的JSON数据模型和 schema 灵活性消除了这些ETL复杂性，允许数据在源端自然演进，无需手动管理schema或转换，实现零ETL环境，从而加快洞察时间、降低成本并提高敏捷性。

核心功能与特性

• 基于列存储和日志结构合并（LSM）树的存储引擎：为自管理本地或云部署提供可扩展的分析性能和容量。LSM树架构提供高写入吞吐量以实现快速数据摄入，而列存储通过仅访问必要列加速分析查询。
• 无共享计算和共享对象存储架构：允许独立于存储扩展计算资源。
• 增强的基于MPP的查询引擎：支持可扩展的实时分析查询计算。
• 基于成本的优化器：无需用户干预即可改进查询执行。采用基于样本的方法，从少量数据子集中快速估计数据统计信息，无需扫描整个数据集即可确定最低成本查询计划。
• 零ETL数据摄入：借助Confluent Kafka提供实时摄入能力，可连接、捕获和提取几乎任何数据库或应用的数据。可选择在传输过程中修改传入数据的目标JSON结构（如省略或修改字段）。
• 数据湖仓能力：支持直接查询Amazon S3及S3兼容存储，兼容JSON、Parquet、Avro、CSV、TSV和Delta表格式，允许查询将外部数据与Enterprise Analytics中的其他数据结合。
• SQL++结果写回：支持通过SQL++将查询结果写回Couchbase操作数据服务，以支持自适应应用。
• 表格视图功能：提供原生SQL支持，兼容Tableau、PowerBI和Apache Superset，用于构建业务报告、可视化和仪表板。

本Docker镜像旨在简化Enterprise Analytics在开发、测试和概念验证环境中的部署和运行。

快速入门：使用Docker运行Enterprise Analytics

通过Docker快速启动Enterprise Analytics实例，适用于开发和测试场景。

前提条件

以下说明基于以下假设：

1. Docker已安装并运行
2. 端口8091和8095未被占用
3. 不存在名为ea的容器（若使用S3Mock，则不存在名为s3mock的容器）

1. 创建Docker网络

创建用户定义网络，以便容器与其他服务通信（如需）：

bash
docker network create ea-net

2. 配置S3Mock（可选）

若要使用S3Mock作为对象存储后端，需先启动S3Mock容器；否则需配置其他对象存储后端：

bash
docker run -d --name s3mock --network ea-net -e initialBuckets=ea-storage adobe/s3mock

3. 启动Enterprise Analytics容器

运行Enterprise Analytics容器，映射Couchbase Web控制台（8091）和分析服务（8095）端口：

bash
docker run -d --name ea --network ea-net -p 8091:8091 -p 8095:8095 couchbase/enterprise-analytics:2.0.0

4. 初始化集群

在主机访问 http://localhost:8091 打开Web控制台，开始Enterprise Analytics设置：

!设置初始界面

按照设置向导完成配置：

!设置向导

若使用S3Mock，需配置对象存储设置指向S3Mock端点：

!内存与对象存储配置-1 !内存与对象存储配置-2

否则，配置对象存储指向所选后端（如AWS S3或其他S3兼容服务/设备）。

5. 安装travel-sample数据集

设置完成后，控制台将加载。安装示例数据集：

!安装示例数据集

6. 执行示例查询

运行示例查询验证功能，例如统计travel-sample中的机场数量：

!示例查询

7. 后续步骤

可探索Enterprise Analytics功能，如创建视图、运行复杂查询、集成其他数据源。更多信息参见Enterprise Analytics文档。也可按照以下说明使用S3Mock作为对象存储后端搭建多节点集群。

使用S3Mock运行双节点Enterprise Analytics集群

以下示例演示如何启动双节点Enterprise Analytics集群，使用https://github.com/adobe/S3Mock%E4%BD%9C%E4%B8%BA%E5%AF%B9%E8%B1%A1%E5%AD%98%E5%82%A8%E5%90%8E%E7%AB%AF%E3%80%82

前提条件

以下说明基于以下假设：

1. Docker已安装并运行
2. 不存在名为s3mock、ea1或ea2的容器
3. 端口8091、8095、9091、9095未被占用

1. 创建Docker网络

创建用户定义网络，使容器可通过名称通信：

bash
docker network create ea-net

2. 启动Adobe S3Mock服务

启动S3Mock容器，初始桶名为ea-storage：

bash
docker run -d --name s3mock --network ea-net -e initialBuckets=ea-storage adobe/s3mock

3. 启动第一个Enterprise Analytics节点

运行第一个节点（ea1），映射Couchbase Web控制台和分析服务端口：

bash
docker run -d --name ea1 --network ea-net --hostname ea1.example.com --network-alias ea1.example.com \
       -p 8091:8091 -p 8095:8095 couchbase/enterprise-analytics:2.0.0

4. 启动第二个Enterprise Analytics节点

运行第二个节点（ea2），使用独立映射端口以便单独访问：

bash
docker run -d --name ea2 --network ea-net --hostname ea2.example.com --network-alias ea2.example.com \
       -p 9091:8091 -p 9095:8095 couchbase/enterprise-analytics:2.0.0

5. 等待节点就绪

继续操作前，确保节点完全启动并准备好配置。可通过查询/pools/default API检查节点状态：当服务器准备接受配置时，API返回404状态及文本“unknown pool”。

示例：

$ curl http://localhost:8091/pools/default
"unknown pool"

6. 初始化节点

使用主机名和管理员凭据初始化ea1和ea2节点：

bash
docker exec ea1 couchbase-cli node-init \
  --cluster http://localhost:8091 \
  --username Administrator \
  --password password \
  --node-init-hostname ea1.example.com

docker exec ea2 couchbase-cli node-init \
  --cluster http://localhost:8091 \
  --username Administrator \
  --password password \
  --node-init-hostname ea2.example.com

7. 配置对象存储使用S3Mock

• 配置Enterprise Analytics使用S3Mock端点：

bash
docker exec ea1 couchbase-cli setting-enterprise-analytics --cluster http://localhost:8091 \
  --username Administrator --password password \
  --set \
  --scheme s3 \
  --bucket ea-storage \
  --region us-east-1 \
  --endpoint http://s3mock:9090 \
  --anonymous-auth 1 \
  --path-style-addressing 1 

8. 初始化集群

初始化Enterprise Analytics集群：

bash
docker exec ea1 couchbase-cli cluster-init \
  --cluster http://localhost:8091 \
  --cluster-username Administrator \
  --cluster-password password

9. 将第二个节点（ea2）添加到集群（ea1）

将ea2添加到集群并执行重平衡：

bash
docker exec ea1 couchbase-cli server-add \
  --cluster http://localhost:8091 \
  --username Administrator \
  --password password \
  --server-add ea2.example.com \
  --server-add-username Administrator \
  --server-add-password password
  
docker exec ea1 couchbase-cli rebalance \
  --cluster http://localhost:8091 \
  --username Administrator \
  --password password

10. 访问Web控制台

重平衡完成后，集群即可使用。通过以下地址访问UI：

• ea1: http://localhost:8091
• ea2: http://localhost:9091

端口

卷

Enterprise Analytics数据存储在/opt/enterprise-analytics/var/lib/couchbase/data路径下。持久化部署时，可将Docker卷或主机目录挂载到此路径。

示例：

bash
docker run -d --name ea1 -v ea1-data:/opt/enterprise-analytics/var/lib/couchbase/data couchbase/enterprise-analytics:2.0.0

许可

Enterprise Analytics根据Couchbase企业许可协议授权。