轩辕镜像 官方专业版
轩辕镜像
专业版
轩辕镜像 官方专业版
轩辕镜像
专业版
首页
个人中心
拉取日志
交易
充值流量¥8起
我的订单
文档
工具
提交工单
页面收录
unitycatalog

unitycatalog/unitycatalog

unitycatalog

Unity Catalog的后端服务

8 次收藏下载次数: 0状态:社区镜像维护者:unitycatalog仓库类型:镜像最近更新:23 天前
中文简介
下载命令
镜像标签列表与下载命令
轩辕镜像,加速的不只是镜像。
点击查看

Unity Catalog 后端服务 Docker 镜像文档

镜像概述和主要用途

Unity Catalog 后端服务是 Databricks 提供的统一元数据管理平台核心组件,负责集中存储、管理和维护企业级数据资产的元数据信息(如数据库、表、视图、函数等),并提供跨工作区、跨云平台的统一访问控制、数据血缘追踪及审计能力。该 Docker 镜像封装了 Unity Catalog 后端服务的运行环境,简化了服务部署与运维流程,适用于企业内部私有化部署或混合云环境中的元数据管理需求。

核心功能和特性

1. 统一元数据管理

  • 集中存储结构化、半结构化及非结构化数据的元数据,支持自动同步与版本控制。
  • 提供标准化元数据模型,兼容 Hive Metastore、Delta Lake 等主流数据格式。

2. 细粒度访问控制

  • 基于角色的访问控制(RBAC)与属性基础访问控制(ABAC)结合,支持列级、行级权限定义。
  • 统一管理跨工作区、跨用户的数据权限,权限变更实时生效。

3. 跨环境兼容性

  • 支持多 Databricks 工作区共享元数据,实现数据资产跨团队协作。
  • 兼容 AWS、Azure、GCP 等主流云平台,支持混合云与多云部署架构。

4. 数据血缘追踪

  • 自动记录数据流转路径,追踪表、视图的创建、修改及依赖关系。
  • 可视化展示数据血缘图谱,支持溯源分析与故障定位。

5. 审计与合规

  • 记录所有元数据操作日志(如创建、删除、权限变更),支持审计报表导出。
  • 满足 GDPR、HIPAA 等合规要求,提供数据访问审计追踪能力。

使用场景和适用范围

适用场景

  • 企业级数据治理:统一管理多部门、多业务线数据资产,建立标准化元数据规范。
  • 跨团队协作:支持数据工程师、分析师、科学家共享元数据,避免数据孤岛。
  • 混合云/多云部署:在 AWS、Azure、GCP 混合环境中保持元数据一致性与权限统一。
  • 合规审计:满足***、***等行业对数据访问审计、权限追溯的监管要求。

适用范围

  • 已部署 Databricks 平台的企业或组织。
  • 需要集中管理元数据并实现跨环境权限控制的团队。
  • 对数据血缘、审计日志有强需求的中大型数据平台。

使用方法和配置说明

前提条件

  • Docker Engine 20.10+ 或 Kubernetes 1.21+ 环境。
  • 有效的 Databricks 账户及管理员权限(用于获取访问令牌)。
  • 网络连通性:确保容器可访问 Databricks 控制平面(https://*.databricks.com)及后端存储(如 S3、ADLS Gen2 等)。

镜像获取

从 Databricks 私有镜像仓库拉取镜像(需提前配置仓库访问权限):

bash
docker pull docker.xuanyuan.run/databricks/unity-catalog-backend:latest

基本部署(Docker Run)

1. 单节点快速启动

bash
docker run -d \
  --name unity-catalog-backend \
  --network host \  # 或自定义网络,确保与 Databricks 工作区互通
  -p 8080:8080 \   # 服务端口映射(默认 8080)
  -v /local/path/metadata:/opt/unity-catalog/metadata \  # 元数据持久化存储
  -v /local/path/logs:/opt/unity-catalog/logs \          # 日志持久化
  -e DATABRICKS_HOST="https://<databricks-workspace-id>.cloud.databricks.com" \
  -e DATABRICKS_TOKEN="<your-databricks-personal-access-token>" \
  -e STORAGE_BACKEND="s3" \  # 支持 s3, abfs, gcs 或本地存储
  -e STORAGE_PATH="s3://<bucket-name>/unity-catalog/metadata" \
  databricks/unity-catalog-backend:latest

2. 关键参数说明

参数说明示例值
--name容器名称unity-catalog-backend
-p 8080:8080服务端口映射(容器内默认 8080)-
-v <local>:<container>本地目录挂载,用于元数据、日志持久化/data/unity-catalog/metadata:/opt/unity-catalog/metadata

环境变量配置

以下环境变量为服务运行必填项,需根据实际环境调整:

环境变量作用是否必填示例值
DATABRICKS_HOSTDatabricks 工作区 URL是https://adb-1234567890123456.7.azuredatabricks.net
DATABRICKS_TOKENDatabricks 个人访问令牌(需管理员权限)是dapi1234567890abcdef1234567890abcdef
STORAGE_BACKEND元数据存储后端类型是s3(AWS)、abfs(Azure)、gcs(GCP)、local(本地文件系统)
STORAGE_PATH元数据存储路径是s3://my-uc-metadata-bucket/metadata
LOG_LEVEL日志级别(默认 INFO)否DEBUG、INFO、WARN、ERROR
MAX_CONCURRENT_JOBS最大并发元数据同步任务数(默认 10)否20

Docker Compose 部署示例

创建 docker-compose.yml 文件,定义服务配置:

yaml
version: '3.8'
services:
  unity-catalog-backend:
    image: docker.xuanyuan.run/databricks/unity-catalog-backend:latest
    container_name: unity-catalog-backend
    restart: always
    ports:
      - "8080:8080"
    volumes:
      - ./metadata:/opt/unity-catalog/metadata
      - ./logs:/opt/unity-catalog/logs
    environment:
      - DATABRICKS_HOST=https://<databricks-workspace-id>.cloud.databricks.com
      - DATABRICKS_TOKEN=<your-databricks-personal-access-token>
      - STORAGE_BACKEND=s3
      - STORAGE_PATH=s3://<bucket-name>/unity-catalog/metadata
      - LOG_LEVEL=INFO
    networks:
      - databricks-network  # 需提前创建与 Databricks 工作区互通的网络

networks:
  databricks-network:
    driver: bridge

启动服务:

bash
docker-compose up -d

服务验证

服务启动后,可通过以下方式验证运行状态:

  1. 检查容器日志:

    bash
    docker logs -f unity-catalog-backend
    

    若日志中出现 Started Unity Catalog Backend Service on port 8080,表示服务启动成功。

  2. 访问健康检查接口:

    bash
    curl http://localhost:8080/health
    

    返回 {"status": "UP"} 即表示服务正常运行。

注意事项

  1. 权限配置:Databricks 访问令牌需具备 MANAGE_CATALOG 权限,否则无法执行元数据写入操作。
  2. 存储权限:确保容器对 STORAGE_PATH 配置的存储路径有读写权限(如 S3 桶需配置 IAM 角色授权)。
  3. 高可用部署:生产环境建议通过 Kubernetes 部署多副本,并配置负载均衡与自动扩缩容。
  4. 数据备份:定期备份 STORAGE_PATH 中的元数据,避免数据丢失。

镜像拉取方式

您可以使用以下命令拉取该镜像。请将 <标签> 替换为具体的标签版本。如需查看所有可用标签版本,请访问 标签列表页面。

轩辕镜像加速拉取命令点我查看更多 unitycatalog 镜像标签

docker pull docker.xuanyuan.run/unitycatalog/unitycatalog:<标签>

使用方法:

  • 登录认证方式
  • 免认证方式

DockerHub 原生拉取命令

docker pull unitycatalog/unitycatalog:<标签>

用户好评

来自真实用户的反馈,见证轩辕镜像的优质服务

查看流量套餐与价格
用户头像

oldzhang

运维工程师

Linux服务器

5

"Docker访问体验非常流畅,大镜像也能快速完成下载。"

镜像详情/unitycatalog/unitycatalog
充值充值流量套餐
专业版 · 高速稳定拉取镜像
高速镜像下载·在线技术支持·99.95% SLA 保障·付费会员免广告
50GB 仅 ¥8/年
专业版 · 高速稳定拉取镜像
50GB 仅 ¥8/年
高速镜像下载·在线技术支持·99.95% SLA 保障·付费会员免广告
用户协议·隐私政策·增值电信业务经营许可证:浙B2-20261007·©2024-2026 源码跳动©2024-2026 杭州源码跳动科技有限公司·商务合作:点击复制邮箱

更多 unitycatalog 镜像推荐

unitycatalog/unitycatalog-ui logo

unitycatalog/unitycatalog-ui

unitycatalog
暂无描述
1 次收藏1万+ 次下载
1 年前更新
datacatering/unitycatalog logo

datacatering/unitycatalog

datacatering
Unity Catalog的Docker镜像,Databricks的开源数据目录项目,用于部署和运行数据目录服务。
2 次收藏1万+ 次下载
2 年前更新

查看更多 unitycatalog 相关镜像