rmlio/rmlmapper-java Docker 镜像 - 轩辕镜像 | Docker 镜像高效稳定拉取服务

RMLMapper

镜像概述和主要用途

RMLMapper 是一个执行 RML 规则以生成关联数据（Linked Data）的 Java 库，提供命令行界面（CLI）和 Docker 镜像形式供使用。它能够加载多种本地和远程数据源，根据 RML 映射规则将数据转换为关联数据。需注意的是，RMLMapper 会将所有数据加载到内存中，因此处理大型数据集时需谨慎。

核心功能和特性

支持的数据源

• 本地数据源：
  • Excel 文件（.xlsx）
  • LibreOffice 文件（.ods）
  • CSV 文件（包括 CSVW）
  • JSON 文件（支持 JSONPath，@ 可用于选择当前对象）
  • XML 文件（支持 XPath）
• 远程数据源：
  • 关系型数据库（MySQL、PostgreSQL、Oracle、SQLServer）
  • 带 W3C Web of Things 的 Web API
  • SPARQL 端点
  • HTTP URL 文件（通过 GET 请求获取）：
    • CSV 文件
    • JSON 文件（JSONPath）
    • XML 文件（XPath）

核心功能

• 函数支持：大多数情况下支持函数，可参考 RML+FnO 测试用例 了解使用方法
• 配置文件：支持通过配置文件进行配置
• 元数据生成：可生成 PROV-O 元数据，支持数据集、三元组、术语级别的详细程度
• 输出格式：nquads（默认）、turtle、trig、trix、jsonld、hdt
• 连接条件：支持连接条件定义
• 目标位置：本地文件、VoID 数据集、带 SPARQL UPDATE 的 SPARQL 端点、HTTP 请求访问、动态逻辑目标

使用场景和适用范围

适用于需要通过 RML 映射规则将多种数据源（如数据库、CSV、JSON、XML 等）转换为关联数据的场景，可用于语义网项目、数据集成、知识图谱构建等领域。

详细的使用方法和配置说明

Docker 镜像使用

Docker Hub 镜像

每个版本的 Docker 镜像会自动发布到 Docker Hub，可直接使用：rmlio/rmlmapper-java。

构建本地镜像

1. 构建 Docker 镜像：

   bash
   docker build -t rmlmapper .
   

运行 Docker 容器

Docker 容器支持与 CLI 相同的参数，RMLMapper 在容器内的 /data 目录中执行。基本用法如下：

bash
docker run --rm -v $(pwd):/data rmlmapper -m mapping.ttl

• -v $(pwd):/data：将当前目录挂载到容器内的 /data 目录，以便访问本地映射文件和数据
• -m mapping.ttl：指定 RML 映射文件（位于当前目录，即容器内的 /data/mapping.ttl）

常用参数示例

1. 指定输出文件和格式：

   bash
   docker run --rm -v $(pwd):/data rmlmapper -m mapping.ttl -o output.nq -s nquads
   

   • -o output.nq：输出文件路径（容器内 /data/output.nq，对应本地当前目录的 output.nq）
   • -s nquads：指定输出格式为 nquads（默认）

2. 生成元数据：

   bash
   docker run --rm -v $(pwd):/data rmlmapper -m mapping.ttl -e metadata.ttl -l dataset
   

   • -e metadata.ttl：元数据输出文件
   • -l dataset：元数据详细级别（dataset/triple/term）

3. 包含自定义函数：

   bash
   docker run --rm -v $(pwd):/data rmlmapper -m mapping.ttl -f functions.ttl
   

   • -f functions.ttl：指定函数描述 Turtle 文件

完整 CLI 参数

Docker 容器支持所有 CLI 参数，执行以下命令查看完整选项：

bash
docker run --rm rmlmapper --help

主要参数包括：

• -m, --mapping <arg>：一个或多个映射文件路径（多个值将被连接）
• -o, --output <arg>：输出文件路径
• -s, --serialization <arg>：输出格式（nquads、turtle、trig、trix、jsonld、hdt）
• -e, --metadatafile <arg>：元数据输出文件路径
• -l, --metadataDetailLevel <arg>：元数据详细级别（dataset/triple/term）
• -f, --functionfile <arg>：函数描述 Turtle 文件路径
• --duplicates：移除输出中的重复三元组（适用于 N-Triples、N-Quads、HDT）

注意事项

内存使用

RMLMapper 将所有数据加载到内存中，处理大型数据集时可能需要调整 Docker 容器的内存限制（如 --memory=4g）。

XML 解析性能

XML 解析使用 javax.xml.parsers 以支持完整 XPath，可能导致内存消耗较大（高达原始 XML 文件大小的 10 倍）。

重复数据移除

启用重复数据移除（--duplicates）和选择不同输出格式可能影响性能，建议根据使用场景测试优化配置。

函数包含方式

可通过动态加载（指定函数描述 Turtle 文件和 jar）、预加载（代码注册并重新构建）或添加依赖（作为库使用时）三种方式包含自定义函数，详情参见项目文档。