ludwigai/ludwig-ray

Ludwig Docker镜像

镜像概述和主要用途

Ludwig Docker镜像提供了Ludwig深度学习工具箱，该工具允许无需编写代码即可训练和评估深度学习模型。镜像包含完整的依赖包，以支持其全部功能，适用于希望快速构建和部署深度学习模型的用户，无需手动配置复杂的环境依赖。

核心功能和特性

• 支持多种特征类型：文本特征、图像特征、音频特征
• 提供可视化功能，便于模型结果分析
• 内置超参数优化工具
• 支持分布式训练
• 提供模型服务能力

镜像仓库

以下三个仓库包含从项目master分支构建的全功能版本Ludwig：

• ludwigai/ludwig：包含TF 2.x的Ludwig
• ludwigai/ludwig-gpu：包含GPU启用版本TF 2.x的Ludwig
• ludwigai/ludwig-ray：包含TF 2.x和https://github.com/ray-project/ray%E7%9A%84Ludwig

镜像标签

• master：从Ludwig的master分支构建
• nightly：Ludwig软件的夜间构建版本
• sha-<commit point>：指定Git SHA1 7字符提交点的Ludwig软件版本

使用场景和适用范围

• 快速原型开发：无需编写代码即可构建深度学习模型
• 教育和研究：简化深度学习模型的训练和评估流程
• 生产环境部署：支持分布式训练和模型服务，适用于规模化应用
• 多模态数据处理：处理文本、图像、音频等多种类型数据

使用方法和配置说明

前提条件

假设主机目录结构如下：

/top/level/directory/path/
    data/
        train.csv
    src/
        config.yaml
        ludwig_api_program.py

运行Ludwig CLI

通过Docker运行Ludwig命令行工具：

bash
# 设置父目录 shell 变量
parent_path=/top/level/directory/path

# 执行 docker run 命令以运行 ludwig cli
# 将主机目录 ${parent_path}/data 映射到容器 /data 目录
# 将主机目录 ${parent_path}/src 映射到容器 /src 目录
docker run -v ${parent_path}/data:/data  \
    -v ${parent_path}/src:/src \
    ludwigai/ludwig:master \
    experiment --config /src/config.yaml \
        --dataset /data/train.csv \
        --output_directory /src/results

实验结果可在主机目录 /top/level/directory/path/src/results 中找到。

运行使用Ludwig API的Python程序

通过Docker运行包含Ludwig API的Python程序：

bash
# 设置父目录 shell 变量
parent_path=/top/level/directory/path

# 执行 docker run 命令以运行 Python 解释器
# 将主机目录 ${parent_path}/data 映射到容器 /data 目录
# 将主机目录 ${parent_path}/src 映射到容器 /src 目录
# 设置容器当前工作目录为 /src
# 将默认入口点从 ludwig 更改为 python
docker run  -v ${parent_path}/data:/data  \
    -v ${parent_path}/src:/src \
    -w /src \
    --entrypoint python \
    ludwigai/ludwig:master /src/ludwig_api_program.py

Ludwig结果可在主机目录 /top/level/directory/path/src/results 中找到。

查看Ludwig Tensorboard结果

通过Docker运行Tensorboard查看Ludwig结果：

bash
# 设置父目录 shell 变量
parent_path=/top/level/directory/path

# 执行 docker run 命令以运行 Tensorboard
# 将主机目录 ${parent_path}/src 映射到容器 /src 目录
# 设置本地端口 6006 到容器端口 6006 的映射
# 将默认入口点从 ludwig 更改为 tensorboard
# --logdir 指定容器中 tensorboard 日志位置 /src/results/<experiment_name>_<model_name>/model/logs
# --bind_all 使 Tensorboard 服务于容器的所有公共接口
docker run  -v ${parent_path}/src:/src \
    -p 6006:6006 \
    --entrypoint tensorboard \
    ludwigai/ludwig:master \
      --logdir /src/results/experiment_run/model/logs \
      --bind_all

在浏览器中访问 http://localhost:6006 即可查看Tensorboard仪表板。