happylay/datax

DataX离线数据同步工具/平台-命令行版本

镜像概述和主要用途

本镜像为DataX离线数据同步工具的命令行版本，基于DataX 3.x构建，旨在提供便捷的容器化部署方案，简化数据同步环境配置。DataX是一款离线数据同步工具，支持多种数据源之间的数据传输，适用于数据仓库ETL、跨数据库迁移、定时数据同步等场景。

核心功能和特性

• 基于DataX 3.x版本，具备成熟的数据同步能力
• 命令行操作模式，支持任务自检、模板生成和任务执行
• 容器化部署，无需手动配置依赖环境
• 支持数据卷挂载，方便管理同步任务配置文件

使用场景和适用范围

• 数据仓库ETL流程中的离线数据同步
• 跨数据库（如MySQL、Oracle、HDFS等）的数据迁移
• 定时执行的批量数据同步任务
• 需要快速部署数据同步环境的开发或测试场景

使用方法和配置说明

快速启动

通过docker-compose快速部署DataX容器，配置文件示例如下：

yaml
##########################################################################
#Author : happylay 安徽理工大学
#Created Time : 2020-04-01 02:14
#Environment：centos:7.5.1804
##########################################################################
version: "3.1"
services:  
  datax:
    image: happylay/datax:v1.0.0
    container_name: datax
    restart: always   
    volumes:
      - ./json:/job/json     # 本地json目录挂载到容器内/job/json，用于存放同步任务配置文件

启动命令：

bash
docker-compose up -d

执行任务

容器启动后，可通过以下命令执行数据同步任务：

1. 任务自检
   检查DataX环境及任务配置是否正常：

   bash
   docker exec -it datax datax job
   

2. 获取JSON格式模板
   生成数据同步任务的JSON配置模板：

   bash
   docker exec -it datax datax json
   

3. 执行同步任务
   将JSON格式的任务配置文件放置于本地./json目录（对应容器内/job/json），执行任务：

   bash
   docker exec -it datax datax start 任务名.json
   

   注：任务名.json需为存放于/job/json目录下的配置文件。

更新说明

• 2020-04-01 v1.0.0：基于DataX 3.x版本构建，初始发布