acryldata/datahub-mysql-setup

Datahub MySQL 服务器镜像

一、镜像概述和主要用途

Datahub MySQL 服务器镜像是专为 Datahub 元数据管理平台设计的数据库容器，用于提供稳定、预配置的 MySQL 数据库服务。该镜像基于官方 MySQL 镜像构建，集成了 Datahub 运行所需的数据库初始化脚本、用户权限配置及 schema 定义，旨在简化 Datahub 部署流程，确保数据库层与 Datahub 核心服务（如 GMS、MAE Consumer 等）的兼容性。

二、核心功能与特性

2.1 兼容性优化

• 与 Datahub 主流版本（0.8.x 及以上）深度兼容，预配置 Datahub 所需的数据库 schema 及索引。
• 适配 MySQL 8.0+ 版本特性，支持 Datahub 元数据存储、查询及事务需求。

2.2 自动化配置

• 内置初始化脚本，自动创建 Datahub 专用数据库（默认数据库名：datahub）及专用用户（默认用户名：datahub）。
• 支持通过环境变量动态配置数据库凭证（如 root 密码、Datahub 用户密码），避免硬编码敏感信息。

2.3 数据持久化支持

• 兼容 MySQL 数据目录持久化，可通过数据卷（Volume）挂载实现数据库文件的长期存储，防止容器重启导致数据丢失。

2.4 安全增强

• 默认禁用远程 root 无密码登录，强制通过环境变量设置 root 密码。
• 预配置最小权限原则：Datahub 用户仅拥有 datahub 数据库的读写权限，限制权限范围。

2.5 扩展性

• 支持自定义 MySQL 配置文件（如 my.cnf）挂载，可根据负载需求调整数据库参数（如连接数、缓存大小等）。

三、使用场景与适用范围

3.1 开发/测试环境

• 快速搭建 Datahub 本地开发环境，无需手动配置 MySQL 数据库及 schema。
• 测试环境中作为独立数据库组件，配合 Datahub 其他服务（如前端、GMS）进行功能验证。

3.2 容器化部署

• 作为 Datahub 容器化部署架构的核心组件，与 Docker Compose、Kubernetes 等编排工具集成，实现一键部署。
• 适用于微服务架构中，作为 Datahub 元数据存储的独立服务单元。

3.3 生产环境（需额外配置）

• 可用于中小规模生产环境，需配合数据备份策略、高可用配置（如主从复制）及性能调优。

四、使用方法与配置说明

4.1 前置要求

• Docker 19.03+ 或 Docker Compose 2.0+ 环境。
• 网络环境允许容器间通信（如与 Datahub GMS 服务的网络互通）。

4.2 Docker Run 命令示例

4.2.1 基础运行（带数据持久化）

bash
docker run -d \
  --name datahub-mysql \
  -p 3306:3306 \
  -v datahub-mysql-data:/var/lib/mysql \  # 数据卷挂载，持久化数据库文件
  -e MYSQL_ROOT_PASSWORD=root_password \  # 必须：设置 root 用户密码
  -e MYSQL_DATABASE=datahub \             # 可选：Datahub 数据库名（默认：datahub）
  -e MYSQL_USER=datahub \                 # 可选：Datahub 专用用户名（默认：datahub）
  -e MYSQL_PASSWORD=datahub_password \    # 必须：Datahub 用户密码
  --restart unless-stopped \
  acryldata/datahub-mysql:latest  # 假设镜像名称为 acryldata/datahub-mysql

4.2.2 自定义 MySQL 配置

通过挂载自定义 my.cnf 调整数据库参数（如增加连接数）：

bash
docker run -d \
  --name datahub-mysql \
  -p 3306:3306 \
  -v datahub-mysql-data:/var/lib/mysql \
  -v ./custom-my.cnf:/etc/mysql/conf.d/custom.cnf \  # 挂载自定义配置文件
  -e MYSQL_ROOT_PASSWORD=root_password \
  -e MYSQL_PASSWORD=datahub_password \
  acryldata/datahub-mysql:latest

4.3 Docker Compose 配置示例

通常与 Datahub 其他服务联动部署，以下为 docker-compose.yml 片段（作为 Datahub 服务的一部分）：

yaml
version: '3.8'
services:
  mysql:
    image: acryldata/datahub-mysql:latest
    container_name: datahub-mysql
    restart: unless-stopped
    ports:
      - "3306:3306"
    environment:
      - MYSQL_ROOT_PASSWORD=root_password  # 建议通过 .env 文件注入，避免明文
      - MYSQL_DATABASE=datahub
      - MYSQL_USER=datahub
      - MYSQL_PASSWORD=datahub_password
    volumes:
      - datahub-mysql-data:/var/lib/mysql  # 数据卷持久化
      # 可选：挂载初始化脚本（如自定义 schema 扩展）
      # - ./init-scripts:/docker-entrypoint-initdb.d
    networks:
      - datahub-network  # 与 Datahub 其他服务共享网络

  # 其他 Datahub 服务（如 gms、frontend 等）...

volumes:
  datahub-mysql-data:  # 声明数据卷

networks:
  datahub-network:
    driver: bridge

4.4 环境变量说明

4.5 配置文件自定义

如需调整 MySQL 运行参数（如 max_connections、innodb_buffer_pool_size 等），可通过挂载自定义配置文件实现：

1. 创建自定义配置文件（如 custom.cnf），内容示例：

   ini
   [mysqld]
   max_connections = 1000
   innodb_buffer_pool_size = 1G
   slow_query_log = 1
   slow_query_log_file = /var/log/mysql/slow.log
   

2. 运行容器时挂载该文件至 /etc/mysql/conf.d/ 目录：

   bash
   -v /path/to/custom.cnf:/etc/mysql/conf.d/custom.cnf
   

   （MySQL 会自动加载 /etc/mysql/conf.d/ 目录下的 .cnf 文件，覆盖默认配置）

五、注意事项

5.1 数据安全

• 生产环境必须启用数据持久化：通过数据卷（Volume）或绑定挂载（Bind Mount）持久化 /var/lib/mysql 目录，防止容器删除导致数据丢失。
• 密码管理：避免在命令行或配置文件中明文存储密码，建议通过环境变量文件（如 .env）或密钥管理工具（如 Docker Secrets、Vault）注入。

5.2 版本兼容性

• 确保镜像版本与 Datahub 核心服务版本匹配（如 Datahub 0.12.x 需使用 MySQL 8.0+ 镜像），具体参考 Datahub 官方部署文档。

5.3 性能调优

• 生产环境需根据数据量和访问量调整 MySQL 配置（如 innodb_buffer_pool_size 建议设置为服务器内存的 50%-70%）。
• 定期监控数据库性能指标（如连接数、慢查询、磁盘 IO），必要时启用主从复制或读写分离。

5.4 备份策略

• 定期备份数据库文件（通过 mysqldump 工具或数据卷快照），备份命令示例：

  bash
  docker exec datahub-mysql mysqldump -u root -p$MYSQL_ROOT_PASSWORD datahub > datahub_backup_$(date +%F).sql
  

六、常见问题

Q：容器启动后 Datahub 服务无法连接数据库？

A：检查以下项：

1. 数据库容器是否正常运行（docker logs datahub-mysql 查看日志）。
2. Datahub 服务配置的数据库连接参数（用户名、密码、地址）是否与容器环境变量一致。
3. 容器网络是否互通（如使用自定义网络，需确保 Datahub 服务与数据库在同一网络）。

Q：如何升级镜像版本？

A：1. 备份现有数据；2. 停止并删除旧容器；3. 使用新版本镜像重新运行容器，挂载原数据卷。