linkedin/datahub-elasticsearch-setup

DataHub Elasticsearch Setup Helper Image

镜像概述与主要用途

DataHub Elasticsearch Setup Helper Image是DataHub生态系统中的辅助工具镜像，专为简化Elasticsearch在DataHub快速启动流程中的配置与部署而设计。该镜像作为DataHub quickstart流程的关键组件，可自动完成Elasticsearch与DataHub的集成配置，降低用户手动部署的复杂度，帮助用户快速搭建包含Elasticsearch支持的完整DataHub环境。

核心功能与特性

核心功能

• 自动配置Elasticsearch与DataHub的通信参数（主机地址、端口、认证信息等）
• 预置DataHub所需的Elasticsearch索引模板与映射关系
• 初始化DataHub元数据存储与搜索功能依赖的索引（如元数据事件索引、使用事件索引）
• 验证Elasticsearch服务状态及版本兼容性

特性

• 轻量级设计：仅包含配置脚本与模板，不重复打包Elasticsearch核心服务
• DataHub专用优化：配置逻辑针对DataHub元数据处理流程深度优化
• 零手动配置：完全集成于DataHub quickstart流程，无需用户编写配置文件
• 版本同步：与DataHub官方quickstart流程保持版本同步，确保兼容性

使用场景与适用范围

使用场景

• 本地开发环境：开发者快速搭建包含Elasticsearch的DataHub本地开发环境
• 功能测试环境：测试人员部署完整DataHub环境进行功能验证与回归测试
• 演示环境：快速部署可演示的DataHub环境，展示元数据搜索与管理功能

适用范围

• 用户群体：DataHub初学者、开发者、测试工程师及需要快速部署DataHub的技术团队
• 环境要求：需配合Docker与Docker Compose使用，支持Linux/macOS系统（Windows需通过WSL2运行）
• 版本要求：需与DataHub官方quickstart流程指定版本配套使用（具体版本参考DataHub官方文档）

使用方法与配置说明

前置条件

• 已安装Docker Engine（20.10.0+）和Docker Compose（v2.0+）
• 网络环境可访问Docker Hub（用于拉取镜像）
• 本地端口9200（Elasticsearch默认端口）未被占用

基本使用流程

该镜像无需单独调用，通过DataHub官方quickstart脚本自动触发，典型使用步骤如下：

1. 获取DataHub quickstart资源
   克隆DataHub源码仓库并进入quickstart目录：

   bash
   git clone https://github.com/datahub-project/datahub.git
   cd datahub/quickstart
   

2. 启动DataHub环境
   执行官方quickstart脚本，自动拉取并运行本辅助镜像：

   bash
   ./quickstart.sh
   

3. 等待初始化完成
   脚本执行过程中，辅助镜像会：

   • 检查并启动兼容版本的Elasticsearch容器
   • 注入DataHub专用索引模板
   • 创建必要的元数据索引
   • 配置DataHub服务与Elasticsearch的连接

自定义配置（可选）

通过修改DataHub quickstart目录下的.env文件可调整关键配置参数，常用参数如下：

验证部署

部署完成后，可通过以下方式验证Elasticsearch配置成功：

1. 检查Elasticsearch容器日志确认无错误：

   bash
   docker logs elasticsearch
   

2. 访问DataHub UI（默认http://localhost:9002），通过搜索框测试元数据搜索功能

停止与清理

停止DataHub环境并清理资源：

bash
./quickstart.sh down

注意事项

• 该镜像仅用于DataHub quickstart场景，生产环境部署需参考DataHub官方生产部署文档单独配置Elasticsearch
• 如需自定义Elasticsearch配置（如集群模式、SSL加密等），需在DataHub部署完成后手动调整Elasticsearch容器配置
• 镜像版本需与DataHub quickstart脚本版本匹配，建议通过官方脚本自动拉取对应版本镜像