marquezproject/marquez Docker 镜像 - 轩辕镜像 | Docker 镜像高效稳定拉取服务

镜像概述

该Docker镜像专注于数据生态系统元数据的全流程管理，核心能力涵盖元数据采集、自动化聚合及可视化呈现。通过整合分散的数据源信息，帮助用户构建统一的元数据视图，支撑数据治理、数据发现与决策分析。

核心特性

• 多源适配：支持从关系型数据库（MySQL、PostgreSQL）、数据仓库（***、Redshift）、消息队列（Kafka）、ETL工具（Airflow）等多类数据源采集元数据，覆盖表结构、字段属性、数据血缘等关键信息。
• 智能关联：自动识别元数据间的依赖关系（如上游数据源与下游应用），构建数据血缘图谱，实现端到端数据链路追踪。
• 可视化界面：提供交互式仪表盘，通过图表（资产分布、变更趋势）、拓扑图（数据流向）等形式直观展示元数据，支持关键词检索与条件筛选。
• 可扩展性：支持自定义采集规则（通过配置文件定义数据源）及API集成，可扩展至业务元数据（如数据owner、SLA）管理。
• 数据持久化：内置轻量级存储，记录元数据历史版本与变更日志，支持数据备份与恢复。

典型应用场景

• 数据治理：监控数据资产变更，跟踪数据血缘以满足数据质量管控需求。
• 数据发现：帮助分析师快速定位可用数据资产，减少数据孤岛导致的重复开发。
• 合规审计：生成元数据变更记录报告，支持GDPR、ISO等合规要求的审计追溯。

Docker部署示例

基础部署命令

bash
# 拉取镜像
docker pull metadata-manager:latest

# 启动容器（默认配置）
docker run -d --name metadata-service \
  -p 8080:8080 \
  -v ./config:/app/config \
  -v ./data:/app/data \
  metadata-manager:latest

参数说明

• -p 8080:8080：映射容器8080端口至主机，用于访问Web管理界面。
• -v ./config:/app/config：挂载本地配置目录，配置文件（如datasources.yaml）需定义数据源连接信息（IP、端口、认证方式）。
• -v ./data:/app/data：挂载数据目录，用于持久化存储元数据及应用日志。

访问与配置

容器启动后，通过http://localhost:8080访问界面，默认账号密码为admin/admin（首次登录需重置）。在界面中可配置数据源采集频率、自定义标签等高级功能。

使用注意事项

• 确保宿主机./config和./data目录具备读写权限，避免容器启动失败。
• 自定义数据源需确保容器网络可访问目标服务（建议使用--network host或配置容器网络）。
• 生产环境建议通过-e LOG_LEVEL=INFO调整日志级别，并启用SSL（挂载证书至/app/certs目录并设置-e SSL_ENABLE=true）。