mariomastrorilli/pii_scrubber

PII Scrubber微服务

基于FastAPI、Microsoft Presidio和PostgreSQL Vault的个人身份信息（PII）伪***化与可控恢复微服务，旨在降低应用向外部组件（如LLM、分类服务、第三方渠道）传输数据时的隐私风险，通过令牌替换PII并仅在可控环境中恢复，支持GDPR合规。

核心功能

• ***化端点（POST /anonymize）：可逆加密conversation_id，将文本中的PII（PERSON、PHONE、EMAIL等）替换为令牌，支持自由文本与结构化JSON。
• 恢复端点（POST /restore）：通过令牌与加密的conversation_id恢复原始文本及conversation_id。
• 高级JSON支持：对已知关键字（full_name、phone等）及嵌套字典键进行掩码，支持多种JSON解析方式（标准JSON、Python字面量、NLP纯文本 fallback）。
• 恢复规范化：对PERSON、PHONE等实体进行标准化恢复（如PHONE的E.164格式）。

使用场景

1. 应用向外部LLM发送含PII的文本前，先***化以保护用户隐私。
2. 第三方服务返回令牌化文本后，在内部可控环境中恢复原始数据。
3. 需符合GDPR数据最小化、隐私设计原则的场景。

配置说明

主要环境变量

• SCRUBBER_CRYPTO_KEY（必填）：用于加密/解密conversation_id的密钥。
• DEFAULT_LANG（默认en，建议it用于意大利语场景）：NLP引擎语言。
• DB_HOST/DB_PORT：PostgreSQL数据库连接信息（或使用DB_PII_SCRUBBER_URI直接指定连接字符串）。

配置文件（YAML）

1. languages-config.yaml：配置spaCy NLP引擎、实体映射及忽略标签。
2. pattern-recognizers.yaml：自定义正则/上下文识别器（如意大利手机号模式）。
3. scrubber-app-config.yaml：应用级规则（如denylist、实体优先级、JSON键实体映射）。

Docker部署示例

单容器运行

bash
docker run --rm \
  -p 8080:8080 \
  --env-file .env \
  -e CONFIG_DIR=/config \
  -v "$PWD/config":/config \
  -v "$PWD/data":/app/data \
  --name pii_scrubber \
  mariomastrorilli/pii_scrubber:latest

Docker Compose配置

yaml
services:
  pii_scrubber:
    image: mariomastrorilli/pii_scrubber:latest
    container_name: pii_scrubber
    restart: unless-stopped
    env_file: .env
    environment:
      CONFIG_DIR: /config
      DB_HOST: db
      DB_PORT: "5432"
    volumes:
      - ./config:/config:ro
      - ./data:/app/data
    ports:
      - "8080:8080"
    depends_on:
      db:
        condition: service_healthy

  db:
    image: postgres:16
    container_name: pii_scrubber_db
    restart: unless-stopped
    environment:
      POSTGRES_PASSWORD: postgres
    ports:
      - "5432:5432"
    volumes:
      - db_data:/var/lib/postgresql/data
    healthcheck:
      test: ["CMD-SHELL", "pg_isready -U postgres"]
      interval: 5s
      timeout:5s
      retries:20

volumes:
  db_data:

注意事项

• 该服务实现伪化而非不可逆化，需确保PostgreSQL卷加密及访问权限控制。
• 生产环境建议启用身份验证、mTLS及审计日志，定期轮换加密密钥。
• 需根据实际场景调优NLP识别器及配置文件以提升准确性。