senzing/file-loader

file-loader

概述

file-loader 是一个 Python 工具，用于加载 Senzing 映射 JSON 数据，加载完成后会处理 重做记录。该工具设计为以 Docker 容器方式运行。

console
usage: file-loader.py [-h] [-f [file]] [-cj [config]] [-i] [-t] [-nt num_threads]

Utility to load Senzing JSON records and process redo records

optional arguments:
  -h, --help            显示此帮助消息并退出
  -f [file], --file [file]
                        要加载的文件路径和名称。
                        
                        默认值：无，必须指定。
                        环境变量：SENZING_INPUT_FILE
                        
  -cj [config], --configJson [config]
                        Senzing 引擎配置的 JSON 字符串。
                        
                        默认值：无，必须指定。
                        环境变量：SENZING_ENGINE_CONFIGURATION_JSON
                        
  -i, --info            生成 withInfo 消息并写入文件
                        
                        默认值：False
                        环境变量：SENZING_WITHINFO
                        
  -t, --debugTrace      输出调试跟踪信息。
                        
                        默认值：False
                        环境变量：SENZING_DEBUG
                        
  -nt num_threads, --numThreads num_threads
                        执行加载的工作线程总数。
                        
                        默认值：根据硬件计算。
                        环境变量：SENZING_THREADS_PER_PROCESS
                        

参数可以通过命令行参数或环境变量指定，部分参数有默认值。

选择使用哪个值的优先级顺序为：

  1) 命令行参数
  2) 环境变量
  3) 可用的默认值

获取更多帮助和信息：https://github.com/Senzing/file-loader/blob/main/README.md

演示的API

核心API

• addRecord[WithInfo]：添加 Senzing JSON 记录
• getRedoRecord：获取要处理的重做记录
• processRedoRecord[WithInfo]：处理重做记录

支持API

• init：初始化引擎对象
• destroy：销毁引擎对象
• getConfigList：获取配置详情
• getActiveConfigID：获取活动配置ID
• getDBInfo：获取数据库信息
• license：获取许可证信息
• version：获取版本信息
• stats：检索引擎内部诊断信息，了解引擎运行状态

详细说明

file-loader 的参数可以通过环境变量或命令行参数指定。

必填参数（环境变量）

• SENZING_ENGINE_CONFIGURATION_JSON：Senzing 引擎配置的 JSON 字符串
• SENZING_INPUT_FILE：要加载的文件路径和名称

可选参数（环境变量）

• SENZING_WITHINFO：生成 withInfo 消息并写入文件（默认值：False）
• SENZING_DEBUG：输出调试跟踪信息（默认值：False）
• SENZING_THREADS_PER_PROCESS：工作线程总数（默认值：根据硬件计算）
• SENZING_WITHINFO_FILE：withInfo 消息输出文件路径
• SENZING_ERRORS_FILE：错误日志输出文件路径

有关可选参数的详细信息和默认值，请参见帮助信息。

注意：SENZING_WITHINFO_FILE 和 SENZING_ERRORS_FILE 仅在 Senzing 裸金属安装时有效，在 Docker 中无效。

运行步骤

数据源准备

确保要加载的文件中使用的所有 DATA_SOURCE 值已通过 G2ConfigTool 存在于 Senzing 配置中。有关如何添加的详细信息，请参见 Docker 快速入门。

Docker 运行

导出 SENZING_ENGINE_CONFIGURATION_JSON，修改 CONNECTION 详细信息以匹配您的数据库。

console
export SENZING_ENGINE_CONFIGURATION_JSON='{
  "PIPELINE": {
    "CONFIGPATH": "/etc/opt/senzing",
    "RESOURCEPATH": "/opt/senzing/g2/resources",
    "SUPPORTPATH": "/opt/senzing/data"
  },
  "SQL": {
    "CONNECTION": "postgresql://senzing:password@myhost:5432:g2"
  }
}'

console
docker run -it --rm -u $UID -v ${PWD}:/input -v ${PWD}:/output -e SENZING_ENGINE_CONFIGURATION_JSON senzing/file-loader -f /input/customers.json

上述示例假设 customers.json 文件位于执行命令的当前路径中。

注意事项

• Docker --volume 用于挂载路径，使要加载的输入文件在容器内的 /input 路径可用，并将主机上的输出路径挂载到容器内的 /output 路径；错误日志和 with info 响应文件将写入此路径并持久化。
• 加载和处理重做记录的线程数会自动估计。如果 Senzing 数据库也在同一台机器上运行，且您注意到 CPU 负载过高，可以通过命令行参数 --numThreads 或环境变量 SENZING_THREADS_PER_PROCESS 减少线程数。要了解运行开始时使用的线程数，请在启动期间查找类似以下的消息：

console
2022-12-08 15:58:39,045 - file-loader - INFO:  Starting to load with 12 threads...

• 如果您有 Senzing 许可证，可以在 JSON 配置中使用 LICENSESTRINGBASE64 键指定。

json
{
  "PIPELINE": {
    "CONFIGPATH": "/etc/opt/senzing",
    "RESOURCEPATH": "/opt/senzing/g2/resources",
    "SUPPORTPATH": "/opt/senzing/data",
    "LICENSESTRINGBASE64": "<base64_string>"
  },
  "SQL": {
    "CONNECTION": "postgresql://senzing:password@host:5432:g2"
  }
}