infrascielo/opac-airflow Docker 镜像 - 轩辕镜像 | Docker 镜像高效稳定拉取服务

OPAC-Airflow

概述

OPAC-Airflow是SciELO基于Apache Airflow的定制配置，用于控制元数据和文档的流程，以实现向OPAC网站的发布，涵盖从遗留系统直接摄入的全流程管理。

![构建状态]([***]

工作原理

元数据存储在Kernel中，文件（XML、数字资产和manifestations）存储在Minio（兼容AWS S3）中。为将数据加载到OPAC网站，系统会读取Kernel中的变更记录。

各DAG的职责

• kernel_gate：将ISIS数据库镜像到Kernel
• pre_sync_documents_to_kernel：复制指定的SPS包
• sync_documents_to_kernel：将SPS包中的文档与Kernel和Minio同步
• kernel_changes：将Kernel中的元数据加载到网站

安装

使用Docker构建应用

bash
docker-compose build

运行应用：

bash
docker-compose up -d

服务器安装

要求

• Python 3.7+
• 带S3支持的Apache Airflow
• OpenJDK8
• Xylose 1.35.1
• OPAC-Schema 2.52
• 带Murmur3的deepdiff
• lxml 4.3.4

初始化服务器

bash
$ airflow initdb
$ airflow scheduler
$ airflow webserver

配置

Airflow连接配置

与OPAC的连接：

• Conn Id：opac_conn
• Conn Type：MongoDB
• Host：MongoDB主机地址
• Schema：opac
• Port：MongoDB主机端口
• Extra：{"authentication_source": "admin"}

与Kernel的连接：

• Conn Id：kernel_conn
• Conn Type：HTTP
• Host：Kernel主机地址
• Port：Kernel主机端口

与对象存储（Minio）的连接：

• Conn Id：aws_default
• Conn Type：Amazon Web Service
• Schema：http 或 https
• Login：对象存储登录名
• Extra：{"host": "<主机地址:端口>"}

变量

必填变量：

• BASE_TITLE_FOLDER_PATH：ISIS title数据库的源目录
• BASE_ISSUE_FOLDER_PATH：ISIS issue数据库的源目录
• WORK_FOLDER_PATH：ISIS数据库的复制目录
• SCILISTA_FILE_PATH：scilista文件的读取路径
• XC_SPS_PACKAGES_DIR：待同步的SPS包源目录
• PROC_SPS_PACKAGES_DIR：待同步的SPS包目标目录
• NEW_SPS_ZIP_DIR：优化后的SPS包目标目录
• WEBSITE_URL_LIST：用于验证资源可用性的SciELO网站URL列表，例如：["[***]", "[***]"]
• OBJECT_STORE_URL：对象存储URL，用于过滤HTML中的URI，以验证文档的数字资产和manifestations在HTML代码中的存在性
• KERNEL_FETCH_DATA_TIMEOUT：Kernel数据读取请求的超时时间

可选变量：

• TIMEOUT_FOR_SINGLE_REQ（可选）：单个请求的超时时间（秒），默认10秒
• TIMEOUT_FOR_MULT_REQ（可选）：并发请求的总超时时间（秒），默认300秒
• PID_LIST_CSV_FILE_NAMES（可选）：需存在于XC_SPS_PACKAGES_DIR中的CSV文件名列表，将被复制到PROC_SPS_PACKAGES_DIR/DAG_RUN_ID，用于验证文档、数字资产和manifestations可用性的DAG
• CHECK_SCI_SERIAL_PAGES（可选，默认true）：设为false时禁用sci_serial页面的验证
• CHECK_SCI_ISSUES_PAGES（可选，默认true）：设为false时禁用sci_issues页面的验证
• CHECK_SCI_ISSUETOC_PAGES（可选，默认true）：设为false时禁用sci_issuetoc页面的验证
• CHECK_SCI_ARTTEXT_PAGES（可选，默认true）：设为false时禁用sci_arttext页面的验证
• CHECK_SCI_PDF_PAGES（可选，默认true）：设为false时禁用sci_pdf页面的验证
• CHECK_RENDITIONS（可选，默认true）：设为false时禁用对象存储中manifestations的验证
• CHECK_DIGITAL_ASSETS（可选，默认true）：设为false时禁用对象存储中数字资产的验证
• CHECK_WEB_HTML_PAGES（可选，默认true）：设为false时禁用/j/:acron/a/:iddoc/format=html&lang=??格式的Web页面验证（含语言变体），同时禁用对HTML结果中组件（数字资产存在性及文档其他版本链接）的验证
• CHECK_WEB_PDF_PAGES（可选，默认true）：设为false时禁用/j/:acron/a/:iddoc/format=pdf&lang=??格式的Web页面验证（含语言变体）
• IS_SPORADIC：布尔值，定义流程结束时是否发送邮件，默认False，可选值为字符串['False', 'True']

环境变量

• AIRFLOW_HOME：应用安装目录
• EMAIL_ON_FAILURE_RECIPIENTS：失败通知邮件接收地址，默认：***
• AIRFLOW__SMTP__SMTP_HOST：邮件服务器地址
• AIRFLOW__SMTP__SMTP_USER：发送邮件的***地址
• AIRFLOW__SMTP__SMTP_PASSWORD：发送邮件的***密码
• AIRFLOW__SMTP__SMTP_MAIL_FROM：发件人***地址
• AIRFLOW__SMTP__SMTP_SSL：True或False，指示邮件服务器是否使用加密
• AIRFLOW__SMTP__SMTP_PORT：邮件服务器端口
• AIRFLOW__SENTRY__SENTRY_DSN：Sentry项目的DSN，用于记录执行中的traceback
• POSTGRES_USER：Postgres连接用户名
• POSTGRES_PASSWORD：Postgres连接密码
• POSTGRES_HOST：Postgres主机地址
• POSTGRES_PORT：Postgres端口
• POSTGRES_DB：Opac-airflow的Postgres数据库名

DAG执行顺序

sync_isis_to_kernel

pre_sync_documents_to_kernel

sync_documents_to_kernel

   sync_kernel_to_website

sync_external_content_to_website（每周六00:00执行）

使用许可

Copyright 2018 SciELO <***>。基于BSD许可条款授权。更多信息请参见源代码中的LICENSE文件。

[***]