ludwigai/ludwig-gpu

Ludwig Docker镜像

镜像概述和主要用途

Ludwig Docker镜像提供了Ludwig工具箱的完整部署环境，Ludwig是一个无需编写代码即可训练和评估深度学习模型的工具集。该镜像包含所有必要的依赖包，支持多种数据类型处理和高级深度学习功能，适用于快速构建和部署深度学习模型。

核心功能和特性

• 支持多类型特征处理：文本、图像、音频特征
• 提供模型训练可视化工具
• 内置超参数优化功能
• 支持分布式训练
• 具备模型服务能力

仓库和标签

仓库

三个仓库均包含基于项目master分支构建的全功能Ludwig版本：

• ludwigai/ludwig：包含TF 2.x的Ludwig
• ludwigai/ludwig-gpu：包含GPU支持版本TF 2.x的Ludwig
• ludwigai/ludwig-ray：包含TF 2.x和https://github.com/ray-project/ray%E7%9A%84Ludwig

标签

• master：基于Ludwig master分支构建
• nightly：Ludwig软件的夜间构建版
• sha-<commit point>：指定git sha1 7字符提交点的Ludwig版本

使用场景和适用范围

• 快速进行深度学习模型训练和评估，无需手动配置依赖环境
• 通过CLI或Python API使用Ludwig功能
• 查看和分析模型训练结果（通过Tensorboard）

使用方法和配置说明

假设主机目录结构如下：

/top/level/directory/path/
    data/
        train.csv
    src/
        config.yaml
        ludwig_api_program.py

运行Ludwig CLI

bash
# 设置父目录 shell 变量
parent_path=/top/level/directory/path

# 执行 docker run 命令以运行 ludwig cli
# 将主机目录 ${parent_path}/data 映射到容器 /data 目录
# 将主机目录 ${parent_path}/src 映射到容器 /src 目录
docker run -v ${parent_path}/data:/data \
    -v ${parent_path}/src:/src \
    ludwigai/ludwig:master \
    experiment --config /src/config.yaml \
        --dataset /data/train.csv \
        --output_directory /src/results

实验结果可在主机目录 /top/level/directory/path/src/results 中找到。

运行使用Ludwig API的Python程序

bash
# 设置父目录 shell 变量
parent_path=/top/level/directory/path

# 执行 docker run 命令以运行 Python 解释器
# 将主机目录 ${parent_path}/data 映射到容器 /data 目录
# 将主机目录 ${parent_path}/src 映射到容器 /src 目录
# 设置工作目录为容器 /src 目录
# 将默认入口点从 ludwig 更改为 python
docker run -v ${parent_path}/data:/data \
    -v ${parent_path}/src:/src \
    -w /src \
    --entrypoint python \
    ludwigai/ludwig:master /src/ludwig_api_program.py

Ludwig结果可在主机目录 /top/level/directory/path/src/results 中找到。

查看Ludwig Tensorboard结果

bash
# 设置父目录 shell 变量
parent_path=/top/level/directory/path

# 执行 docker run 命令以运行 Tensorboard
# 将主机目录 ${parent_path}/src 映射到容器 /src 目录
# 设置本地端口 6006 到容器端口 6006 的映射
# 将默认入口点从 ludwig 更改为 tensorboard
# --logdir 容器中 tensorboard 日志位置 /src/results/<experiment_name>_<model_name>/model/logs
# --bind_all Tensorboard 服务于容器所有公共接口
docker run -v ${parent_path}/src:/src \
    -p 6006:6006 \
    --entrypoint tensorboard \
    ludwigai/ludwig:master \
      --logdir /src/results/experiment_run/model/logs \
      --bind_all

在浏览器中访问 http://localhost:6006 即可查看Tensorboard仪表板。