vimagick/openrefine-reconcile-csv

reconcile-csv

reconcile-csv 是一个为 https://github.com/OpenRefine/OpenRefine/wiki 提供的匹配服务，通过 CSV 文件运行。它使用模糊匹配将一个数据集中的条目与另一个数据集匹配，帮助在系统中引入唯一 ID，以便实现数据的无缝关联。

核心功能和特性

• 基于 CSV 文件提供数据匹配服务
• 支持模糊匹配算法，实现条目智能匹配
• 与 OpenRefine 无缝集成，满足数据清洗需求
• 通过环境变量灵活配置关键参数（CSV 文件路径、搜索列、ID 列等）
• 可自定义 Java 运行参数，优化性能

使用场景和适用范围

• OpenRefine 中的数据清洗与整合工作
• 需要通过名称等字段关联不同数据集的场景
• 为数据添加唯一标识以实现跨数据集关联的需求
• 小规模数据集的匹配与关联任务

使用方法和配置说明

环境准备

需安装 Docker 和 Docker Compose。

docker-compose.yml 配置

yaml
reconcile-csv:
  image: vimagick/openrefine-reconcile-csv
  ports:
    - "8000:8000"  # 端口映射，主机端口:容器端口
  volumes:
    - ./data:/data  # 数据卷挂载，主机目录:容器内目录，用于存放CSV文件
  environment:
    - JAVA_OPTS=-Xmx2g  # Java运行参数，设置最大堆内存为2GB
    - CSV_FILE=input.csv  # CSV文件名，需位于挂载的/data目录下
    - SEARCH_COLUMN=name  # 用于搜索匹配的列名
    - ID_COLUMN=id  # 作为唯一标识的列名
  restart: always  # 容器退出后自动重启

CSV 文件格式示例

在挂载的 ./data 目录下创建 input.csv 文件，格式如下：

csv
id,name
1,kevin
2,tom
3,sarah
4,mike
5,lucy

• id 列：作为唯一标识的列，对应配置中的 ID_COLUMN
• name 列：用于搜索匹配的列，对应配置中的 SEARCH_COLUMN

启动与运行

1. 启动服务：

   bash
   $ docker-compose up -d
   

2. 测试服务：

   • 简单查询匹配（搜索"kev"）：

     bash
     $ curl http://localhost:8000/reconcile?query=kev
     

   • 带参数查询（搜索"kev"，限制返回1条结果）：

     bash
     $ curl http://localhost:8000/reconcile?query={"query":"kev","limit":1}
     

   • 查看特定ID的详情（查看ID=1的条目）：

     bash
     $ curl http://localhost:8000/view/1