kookim/datax

DataX Docker镜像文档

镜像概述

本镜像为阿里巴巴开源数据同步工具DataX的容器化版本。DataX是一个异构数据源离线同步工具，致力于实现包括关系型数据库（MySQL、Oracle等）、文件（TxtFile等）在内的多种异构数据源之间稳定高效的数据同步。

核心功能与特性

• 多数据源支持：包含多种Reader（数据读取器）和Writer（数据写入器），已支持MySQL、Oracle、TxtFile等数据源
• 容器化部署：提供即用型Docker镜像，简化部署流程，避免环境依赖问题
• 日志管理：支持日志和性能日志的持久化存储，便于任务监控和问题排查
• 资源控制：可灵活配置容器资源限制，适应不同同步任务需求

使用场景

• 数据库迁移：不同数据库（如MySQL到Oracle）之间的数据迁移
• ETL数据同步：数据仓库构建中的离线数据抽取与加载
• 跨系统数据交换：文件与数据库之间的数据同步（如TxtFile到MySQL）
• 定时数据备份：定期将重要数据同步到备份存储

使用方法与配置说明

基本启动命令

bash
docker run --rm --name=datax \
  -v /data/datax/log:/datax/log \
  -v /data/datax/log_perf:/datax/log_perf \
  -v /data/datax/job:/datax/job \
  kookim/datax

运行指定同步任务

bash
docker run --rm --name=datax \
  -v /data/datax/log:/datax/log \
  -v /data/datax/log_perf:/datax/log_perf \
  -v /data/datax/job:/datax/job \
  kookim/datax job/job.json

指定资源限制启动

bash
docker run --rm -m 1g --name=datax \
  -v /data/datax/log:/datax/log \
  -v /data/datax/log_perf:/datax/log_perf \
  -v /data/datax/job:/datax/job \
  kookim/datax job/job.json

目录挂载说明

• /data/datax/log：挂载到容器内/datax/log，用于存储同步任务日志
• /data/datax/log_perf：挂载到容器内/datax/log_perf，用于存储性能日志
• /data/datax/job：挂载到容器内/datax/job，用于存放同步任务配置文件（如job.json）

任务配置文件说明

同步任务通过job.json配置文件定义，需放置在挂载的job目录下。配置文件需包含数据源信息（Reader配置）、目标数据信息（Writer配置）及同步控制参数。具体配置格式可参考https://github.com/alibaba/DataX%E3%80%82