ironsource/compare-mysql

compare-mysql

镜像概述

IronSource compare-mysql容器旨在简化两个MySQL或PostgreSQL服务器实例之间的数据对比流程，自动生成包含各数据库对比信息的Excel表格归档，并支持将结果上传至Amazon S3，同时可通过邮件或直接访问输出目录获取对比结果。

核心功能

• 支持MySQL与PostgreSQL数据库的数据对比
• 生成包含对比信息的Excel表格归档文件
• 自动将结果归档上传至AWS S3
• 支持通过邮件、输出目录或S3直接获取对比结果
• 可按指定日期（如昨日）或自定义过滤条件进行数据对比

使用场景

• 数据库迁移前后的数据一致性验证
• ETL流程执行后的结果正确性检查
• 多环境（开发/生产）数据库数据差异对比
• 定期数据同步状态监控

配置说明

AWS S3配置

开发环境中可通过环境变量设置AWS凭证及参数：

bash
-e AWS_ACCESS_KEY_ID= -e AWS_SECRET_ACCESS_KEY= -e AWS_DEFAULT_REGION=
# 预定义或自定义S3参数
-e AWS_DEFAULT_REGION=us-west-2
-e AWS_BUCKET=icweb-dwh-dashboard
-e AWS_BUCKET_KEY=staging/compare
-e AWS_FILE_PERIOD='5 days'

Docker部署示例

bash
$ docker login 
$ docker pull ironsource/compare-mysql  
$ docker run --name compare-mysql -it \
  -v /[YourPath]/config.yml:/opt/compare-mysql/config/config.yml \
  -v [YourPath]/output:/opt/compare-mysql/output \
  -v [YourPath]/logs:/opt/compare-mysql/logs \
  ironsource/compare-mysql

config.yml配置

需确保config.yml文件挂载至指定路径，包含以下核心配置项：

• databases: 定义需对比的数据库、表、分组列、度量列及过滤条件
• servers: MySQL/PostgreSQL服务器连接配置（类型、主机、端口、凭据等）
• email_config: 邮件通知配置（可选）
• toCompare: 指定待对比的服务器及数据库表
• compareDate: 按指定日期对比（如昨日）

示例配置结构：

yml
databases:
  [databaseName1]:
    [TableName1]:
      Group:
        - [ColumnName1]
        - [ColumnName2]: [ColumnName2]
      Measures:
        - [ColumnName3]
      Filters:
        - [ColumnName5] != [SomeValue]
servers:
  [ServerName1]:
    host: 
    port: 3306
    user: 
    pass:
    type: mysql
email_config:
  host: mail.installcore.com
  port: 25
  from: ***
  subject: Compare: Old ETL vs New ETL v1.0
toCompare:
  servers:
    - [ServerName1]
    - [ServerName2]
  databases:
    [databaseName1]:
      - [TableName1]
emails:
  - ***
compareDate:
  Date: 'yesterday'