infrascielo/opac-airflow

OPAC-Airflow是SciELO基于Apache Airflow的配置，用于控制元数据和文档流程，实现从遗留系统摄入到OPAC网站发布的全流程管理，处理Kernel与Minio/S3的数据同步及OPAC网站数据加载。

0 次下载activeinfrascielo镜像

🚀轩辕镜像专业版更稳定💎一键安装 Docker 配置镜像源

中文简介版本下载

🚀轩辕镜像专业版更稳定💎一键安装 Docker 配置镜像源

OPAC-Airflow

概述

OPAC-Airflow是SciELO基于Apache Airflow的定制配置，用于控制元数据和文档的流程，以实现向OPAC网站的发布，涵盖从遗留系统直接摄入的全流程管理。

![构建状态]([***]

工作原理

元数据存储在Kernel中，文件（XML、数字资产和manifestations）存储在Minio（兼容AWS S3）中。为将数据加载到OPAC网站，系统会读取Kernel中的变更记录。

各DAG的职责

kernel_gate：将ISIS数据库镜像到Kernel
pre_sync_documents_to_kernel：复制指定的SPS包
sync_documents_to_kernel：将SPS包中的文档与Kernel和Minio同步
kernel_changes：将Kernel中的元数据加载到网站

安装

使用Docker构建应用

bash
docker-compose build

运行应用：

bash
docker-compose up -d

服务器安装

要求

Python 3.7+
带S3支持的Apache Airflow
OpenJDK8
Xylose 1.35.1
OPAC-Schema 2.52
带Murmur3的deepdiff
lxml 4.3.4

初始化服务器

bash
$ airflow initdb
$ airflow scheduler
$ airflow webserver

配置

Airflow连接配置

与OPAC的连接：

Conn Id：opac_conn
Conn Type：MongoDB
Host：MongoDB主机地址
Schema：opac
Port：MongoDB主机端口
Extra：{"authentication_source": "admin"}

与Kernel的连接：

Conn Id：kernel_conn
Conn Type：HTTP
Host：Kernel主机地址
Port：Kernel主机端口

与对象存储（Minio）的连接：

Conn Id：aws_default
Conn Type：Amazon Web Service
Schema：http 或 https
Login：对象存储登录名
Extra：{"host": "<主机地址:端口>"}

变量

必填变量：

BASE_TITLE_FOLDER_PATH：ISIS title数据库的源目录
BASE_ISSUE_FOLDER_PATH：ISIS issue数据库的源目录
WORK_FOLDER_PATH：ISIS数据库的复制目录
SCILISTA_FILE_PATH：scilista文件的读取路径
XC_SPS_PACKAGES_DIR：待同步的SPS包源目录
PROC_SPS_PACKAGES_DIR：待同步的SPS包目标目录
NEW_SPS_ZIP_DIR：优化后的SPS包目标目录
WEBSITE_URL_LIST：用于验证资源可用性的SciELO网站URL列表，例如：["[***]", "[***]"]
OBJECT_STORE_URL：对象存储URL，用于过滤HTML中的URI，以验证文档的数字资产和manifestations在HTML代码中的存在性
KERNEL_FETCH_DATA_TIMEOUT：Kernel数据读取请求的超时时间

可选变量：

TIMEOUT_FOR_SINGLE_REQ（可选）：单个请求的超时时间（秒），默认10秒
TIMEOUT_FOR_MULT_REQ（可选）：并发请求的总超时时间（秒），默认300秒
PID_LIST_CSV_FILE_NAMES（可选）：需存在于XC_SPS_PACKAGES_DIR中的CSV文件名列表，将被复制到PROC_SPS_PACKAGES_DIR/DAG_RUN_ID，用于验证文档、数字资产和manifestations可用性的DAG
CHECK_SCI_SERIAL_PAGES（可选，默认true）：设为false时禁用sci_serial页面的验证
CHECK_SCI_ISSUES_PAGES（可选，默认true）：设为false时禁用sci_issues页面的验证
CHECK_SCI_ISSUETOC_PAGES（可选，默认true）：设为false时禁用sci_issuetoc页面的验证
CHECK_SCI_ARTTEXT_PAGES（可选，默认true）：设为false时禁用sci_arttext页面的验证
CHECK_SCI_PDF_PAGES（可选，默认true）：设为false时禁用sci_pdf页面的验证
CHECK_RENDITIONS（可选，默认true）：设为false时禁用对象存储中manifestations的验证
CHECK_DIGITAL_ASSETS（可选，默认true）：设为false时禁用对象存储中数字资产的验证
CHECK_WEB_HTML_PAGES（可选，默认true）：设为false时禁用/j/:acron/a/:iddoc/format=html&lang=??格式的Web页面验证（含语言变体），同时禁用对HTML结果中组件（数字资产存在性及文档其他版本链接）的验证
CHECK_WEB_PDF_PAGES（可选，默认true）：设为false时禁用/j/:acron/a/:iddoc/format=pdf&lang=??格式的Web页面验证（含语言变体）
IS_SPORADIC：布尔值，定义流程结束时是否发送邮件，默认False，可选值为字符串['False', 'True']