ghcr.io/tapdata/tapdata:3.2

什么是 Tapdata？

Tapdata 是一款基于变更数据捕获（CDC）的实时数据集成平台，支持在数据库、SaaS 服务、应用程序和文件等各类系统之间实现实时数据同步。
同步任务可通过拖放操作轻松构建，从表创建到全量及增量同步，所有流程均完全自动化。

1. 支持的连接器
2. 常见问题

更多详情，请阅读 文档

根据不同的分发策略和功能，Tapdata 提供三个版本：社区版、云服务版和企业版。本开源项目下的所有内容对应社区版。
三个版本的差异可参考：[***]

目录

1. 核心功能
2. 应用场景
3. 快速开始
4. 示例
5. 许可证
6. 联系我们
7. 从源码构建
8. 贡献指南

核心功能

端到端可视化界面

轻量级 ETL 解决方案

在 MongoDB 中构建物化视图

主要应用场景

1. 将传统关系型数据库（RDBMS）数据同步至 MongoDB、Elasticsearch（ES）或 Redis 等现代数据库，以支持新业务需求。
2. 将多源数据库数据整合至统一数据仓库。
3. 将数据库变更流式传输至 Kafka。
4. 在异构数据库之间执行数据同步。
5. 使用 MongoDB 构建统一数据中心。

快速开始

使用 Docker 启动

运行完整服务的基本资源要求：

1. 至少 5GB 可用内存
2. 至少 20GB 可用磁盘空间
3. 至少 1 个空闲 CPU 核心

执行以下命令：

docker run -d -p 3030:3030 ghcr.io/tapdata/tapdata:latest

等待 3 分钟后，访问 http://localhost:3030/。若一切正常，将看到登录页面：

默认用户名：***，默认密码：admin

使用云服务启动

Tapdata 提供云服务，您可使用全托管服务，或将引擎部署至私有网络。

访问 [] 试用，支持 Google 和 GitHub 账号登录，免费试用，无需，立即开启您的实时数据之旅。

示例

🗂️ 创建数据源并测试

1. 登录 Tapdata 平台
2. 在左侧导航面板中，点击 连接管理
3. 在页面右侧，点击 创建
4. 在弹出的对话框中，搜索并选择 MySQL
5. 在跳转的页面中，按提示填写 MySQL 连接信息
6. 点击 测试，确保所有测试通过后，点击 保存

🗂️ 从 MySQL 同步数据至 MongoDB

1. 创建 MySQL 和 MongoDB 数据源
2. 在左侧导航面板中，点击 数据管道 -> 数据复制
3. 在页面右侧，点击 创建
4. 将 MySQL 和 MongoDB 数据源拖放至画布
5. 从 MySQL 数据源向 MongoDB 绘制连接线
6. 配置 MySQL 数据源并选择需同步的数据表
7. 点击右上角 保存 按钮，然后点击 启动 按钮
8. 观察任务页面的指标和事件，直至数据同步完成

🗂️ MySQL 到 PostgreSQL 的简单 ETL 同步

1. 创建 MySQL 和 PostgreSQL 数据源
2. 在左侧导航面板中，点击 数据管道 -> 数据转换
3. 在页面右侧，点击 创建
4. 将 MySQL 和 PostgreSQL 数据源拖放至画布
5. 从 MySQL 数据源向 PostgreSQL 绘制连接线
6. 点击连接线上的加号，选择 字段重命名
7. 点击 字段重命名 节点，在配置表单中将 i_price 改为 price，i_data 改为 data
8. 点击右上角 保存 按钮，然后点击 启动 按钮
9. 观察任务页面的指标和事件，直至数据同步完成

🗂️ 在 MongoDB 中创建物化视图

物化视图是 Tapdata 的特色功能，您可充分发挥 MongoDB 文档数据库的特性，创建所需的数据模型，尽情体验！

本示例将使用 MySQL 中的两张表（order 和 product），将 product 作为嵌入式文档合并至 order 中，步骤如下：

1. 创建 MySQL 和 MongoDB 数据源
2. 在左侧导航面板中，点击 数据管道 -> 数据转换
3. 在页面右侧，点击 创建
4. 点击左上角的 MySQL 数据源，将 order 表和 product 表拖放至画布
5. 将左下角的 主从合并 节点拖放至画布
6. 从 order 表向 主从合并 节点绘制连接线
7. 从 product 表向 主从合并 节点绘制连接线
8. 将 MongoDB 数据源拖放至画布，并从 主从合并 节点向 MongoDB 节点绘制连接线
9. 点击 主从合并 节点，在右侧 表名 区域将 product 表拖入 order 表
10. 点击 主从合并 节点，然后点击 product 表，配置 数据写入模式 为“匹配并合并”，字段写入路径 为“product”，关联条件 为“order_id” => “order_id”，此时可看到底部的 schema 已更新
11. 点击 MongoDB 节点，配置目标表名为 order_with_product，更新条件字段配置为“order_id”
12. 点击右上角 保存 按钮，然后点击 启动 按钮
13. 观察任务页面的指标和事件，直至数据同步完成
14. 检查 MongoDB 中的 order_with_product 集合，即可查看数据模型

🗂️ 数据一致性校验

使用数据校验功能，可快速检查同步数据是否一致准确。

1. 在左侧导航面板中，点击 数据管道 -> 数据校验
2. 在页面右侧，点击 任务一致性校验
3. 选择 1 个任务，校验类型选择“全字段校验”，即系统将检查所有记录的所有字段
4. 点击 保存，然后在任务列表中点击 执行
5. 等待校验任务完成，在任务列表中点击 结果，查看校验结果

架构

许可证

Tapdata 社区版基于 Apache 2.0 许可证。详情参见 https://github.com/tapdata/tapdata/blob/main/LICENSE 文件。

联系我们

• 发送邮件
• Slack 频道