ssuntoso/datax

DataX Docker镜像文档

镜像概述和主要用途

DataX Docker镜像是基于openjdk:8-alpine构建的轻量级镜像，预装了Python3和DataX（阿里巴巴开发的数据集成框架）。该镜像旨在为用户提供一个便捷、高效的环境，用于运行DataX任务，实现不同数据源之间的数据同步与集成。

镜像详情

• 基础镜像：openjdk:8-alpine
• DataX版本：datax_v202308
• 仓库地址：https://hub.docker.com/r/ssuntoso/datax

核心功能和特性

• 轻量级：基于Alpine Linux，镜像体积小，资源占用低
• 预装依赖：已包含Java 8、Python3及DataX运行所需的全部依赖
• 即开即用：无需手动配置环境，拉取镜像后即可运行DataX任务
• 兼容性：支持DataX官方定义的所有数据源和配置格式

使用场景和适用范围

• 数据迁移：在不同数据库（如MySQL、Oracle、PostgreSQL等）之间迁移数据
• ETL流程：作为ETL pipeline中的数据集成环节，处理数据抽取与加载
• 跨数据源同步：实现文件系统（如HDFS、本地文件）与数据库之间的数据同步
• 定时数据同步任务：配合调度工具（如Airflow、Crontab）执行周期性数据集成任务

详细使用方法和配置说明

基本运行命令

运行DataX任务需通过挂载卷提供配置文件（config.json），并可挂载输出目录获取任务结果。基本命令格式如下：

bash
docker run -v /本地配置目录:/opt/datax/src/config -v /本地输出目录:/opt/datax/logs ssuntoso/datax python3 /opt/datax/bin/datax.py /opt/datax/src/config/config.json

参数说明

• -v /本地配置目录:/opt/datax/src/config：挂载本地配置目录到容器内的/opt/datax/src/config，确保容器能访问DataX任务配置文件（config.json）
• -v /本地输出目录:/opt/datax/logs：可选，挂载本地目录用于存储DataX任务日志和输出结果
• ssuntoso/datax：镜像名称
• python3 /opt/datax/bin/datax.py /opt/datax/src/config/config.json：执行DataX任务的命令，指定配置文件路径

配置文件说明

DataX任务配置文件（config.json）需遵循DataX官方规范，定义数据源（reader）、目标源（writer）及数据转换规则。详细配置说明可参考DataX官方仓库：https://github.com/alibaba/DataX

示例：MySQL到本地文件的数据同步

1. 创建本地配置目录并编写config.json：

json
{
  "job": {
    "content": [
      {
        "reader": {
          "name": "mysqlreader",
          "parameter": {
            "username": "root",
            "password": "password",
            "column": ["id", "name"],
            "connection": [
              {
                "table": ["user"],
                "jdbcUrl": ["jdbc:mysql://mysql-host:3306/test"]
              }
            ]
          }
        },
        "writer": {
          "name": "txtfilewriter",
          "parameter": {
            "path": "/opt/datax/logs",
            "fileName": "user_data"
          }
        }
      }
    ],
    "setting": {
      "speed": {
        "channel": 3
      }
    }
  }
}

2. 运行Docker命令：

bash
docker run -v /path/to/local/config:/opt/datax/src/config -v /path/to/local/output:/opt/datax/logs ssuntoso/datax python3 /opt/datax/bin/datax.py /opt/datax/src/config/config.json

任务执行完成后，数据将输出到本地的/path/to/local/output/user_data文件中。