tshio/fogger

Fogger - GDPR友好的数据库掩码工具

概述

Fogger是一款解决数据隐私问题的工具。当开发者需要使用生产数据但需遵守GDPR***时，可通过该工具获取已掩码敏感数据的数据库副本。无需自行编写定制解决方案，Fogger即可满足需求，还支持表的子集提取或排除，自动处理外键关系以保证数据一致性，可配置多种掩码和子集策略，且能轻松扩展自定义策略。

核心功能

1. 敏感数据掩码：支持hashify、starify、faker等多种掩码策略，替换敏感信息。
2. 表子集提取：可对指定表提取头部、尾部或指定范围的行数据。
3. 表排除：可设置排除表，目标库中该表为空。
4. 外键关系处理：自动维护外键约束的有效性。
5. 策略扩展：支持自定义掩码和子集策略。

使用场景

• 开发者需要使用生产数据进行测试或开发，但需遵守数据隐私***（如GDPR）。
• 需要从生产数据库中提取部分数据（子集）用于非生产环境。
• 需要对数据库中的敏感字段（如***、手机号）进行掩码处理。

配置说明

Docker部署示例

以下是使用docker-compose部署Fogger的示例：

yaml
version: '2.0'
services:
  fogger:
    image: tshio/fogger:latest
    volumes:
    - .:/fogger
    environment:
      SOURCE_DATABASE_URL: mysql://user:pass@source:3306/source
      TARGET_DATABASE_URL: mysql://user:pass@target:3306/target
      REDIS_URL: redis://redis
  worker:
    image: tshio/fogger:latest
    environment:
      SOURCE_DATABASE_URL: mysql://user:pass@source:3306/source
      TARGET_DATABASE_URL: mysql://user:pass@target:3306/target
      REDIS_URL: redis://redis
    restart: always
    command: fogger:consumer --messages=200
  redis:
    image: redis:4
  source:
    volumes:
    - ./dump.sql:/docker-entrypoint-initdb.d/dump.sql
    environment:
      MYSQL_DATABASE: source
      MYSQL_PASSWORD: pass
      MYSQL_ROOT_PASSWORD: pass
      MYSQL_USER: user
    image: mysql:5.7
  target:
    environment:
      MYSQL_DATABASE: target
      MYSQL_PASSWORD: pass
      MYSQL_ROOT_PASSWORD: pass
      MYSQL_USER: user
    image: mysql:5.7

注意：

• 映射当前目录到fogger和worker容器的/fogger目录，以便配置文件在容器和主机间共享。
• 通过dump.sql导入源数据库内容（可替换为现有数据库URL）。

启动命令：

bash
# 启动基础服务
docker-compose up -d
# 扩展4个worker加速处理
docker-compose up -d --scale worker=4

CLI命令

Fogger提供三个核心CLI命令：

1. 生成配置文件：

bash
docker-compose run --rm fogger fogger:init

连接源数据库，生成包含表和列信息的配置模板，用于定义掩码和子集策略。

2. 执行掩码与子集操作：

bash
docker-compose run --rm fogger fogger:run

核心命令，协调数据复制、掩码和子集处理，后台worker会并行处理数据。执行前需修改配置文件。

3. 完成收尾工作：

bash
docker-compose run --rm fogger fogger:finish

重建索引、修复外键关系（run命令结束后自动执行，仅在手动中断run时需手动执行）。

示例配置文件

yaml
tables:
  posts:
    columns:
      title: { maskStrategy: starify, options: { length: 12 } }
      body: { maskStrategy: faker, options: { method: "sentences" } }
    subsetStrategy: tail
    subsetOptions: { length: 1000 }
  comments:
    columns:
      comment: { maskStrategy: faker, options: { method: "sentences" } }
  users:
    columns:
      email: { maskStrategy: faker, options: { method: "safeEmail" } }
excludes:
    - logs

说明：

• 无需修改的表/列可省略，将原样复制。
• excludes中的表在目标库中存在但为空。

可用策略列表

掩码策略

1. hashify：用MD5哈希替换数据，可选template参数：

yaml
email: { maskStrategy: "hashify", options: { template: "%s@example.com" } }

2. starify：用星号替换数据，可选length参数（默认10）：

yaml
email: { maskStrategy: "starify", options: { length: 8 } }

3. faker：使用Faker库生成假数据，需指定method参数：

yaml
email: { maskStrategy: "faker", options: { method: "safeEmail" } }
date: { maskStrategy: "faker", options: { method: "date", arguments: ["Y-m-d", "2017-12-31 23:59:59"] } }

子集策略

1. range：提取指定列在min和max之间的行：

yaml
subsetStrategy: range
subsetOptions: { column: "createdAt", min: "2018-01-01 00:00", max: "2018-01-31 23:59:59" }

2. head/tail：提取前N行或后N行：

yaml
subsetStrategy: head
subsetOptions: { length: 1000 }

yaml
subsetStrategy: tail
subsetOptions: { length: 1000 }

内部原理

1. 复制源数据库 schema（不含索引和外键）到目标库。
2. 将数据分块（含子集查询修改），由后台worker（基于RabbitMQ）处理。
3. 复制时替换敏感数据为掩码值，用Redis缓存保证替换值一致性。
4. 数据复制完成后重建索引。
5. 清理无效外键关系（指向排除/子集表的行）。
6. 重建外键约束。

贡献指南

欢迎贡献代码！只需fork仓库，修改代码后提交即可。