infrascielo/opac-airflow

OPAC-Airflow

概述

OPAC-Airflow是SciELO基于Apache Airflow的定制配置，用于控制元数据和文档的流程，以实现向https://github.com/scieloorg/OPAC%E7%9A%84%E5%8F%91%E5%B8%83%EF%BC%8C%E6%B6%B5%E7%9B%96%E4%BB%8E%E9%81%97%E7%95%99%E7%B3%BB%E7%BB%9F%E7%9B%B4%E6%8E%A5%E6%91%84%E5%85%A5%E7%9A%84%E5%85%A8%E6%B5%81%E7%A8%8B%E7%AE%A1%E7%90%86%E3%80%82

![构建状态]([***]

工作原理

元数据存储在https://github.com/scieloorg/document-store%E4%B8%AD%EF%BC%8C%E6%96%87%E4%BB%B6%EF%BC%88XML%E3%80%81%E6%95%B0%E5%AD%97%E8%B5%84%E4%BA%A7%E5%92%8Cmanifestations%EF%BC%89%E5%AD%98%E5%82%A8%E5%9C%A8Minio%EF%BC%88%E5%85%BC%E5%AE%B9AWS S3）中。为将数据加载到https://github.com/scieloorg/OPAC%EF%BC%8C%E7%B3%BB%E7%BB%9F%E4%BC%9A%E8%AF%BB%E5%8F%96Kernel%E4%B8%AD%E7%9A%84%E5%8F%98%E6%9B%B4%E8%AE%B0%E5%BD%95%E3%80%82

各DAG的职责

• kernel_gate：将ISIS数据库镜像到Kernel
• pre_sync_documents_to_kernel：复制指定的SPS包
• sync_documents_to_kernel：将SPS包中的文档与Kernel和Minio同步
• kernel_changes：将Kernel中的元数据加载到网站

安装

使用Docker构建应用

bash
docker-compose build

运行应用：

bash
docker-compose up -d

服务器安装

要求

• Python 3.7+
• 带S3支持的Apache Airflow
• OpenJDK8
• https://github.com/scieloorg/xylose
• https://github.com/scieloorg/opac_schema
• 带Murmur3的deepdiff
• lxml 4.3.4

初始化服务器

bash
$ airflow initdb
$ airflow scheduler
$ airflow webserver

配置

Airflow连接配置

与OPAC的连接：

• Conn Id：opac_conn
• Conn Type：MongoDB
• Host：MongoDB主机地址
• Schema：opac
• Port：MongoDB主机端口
• Extra：{"authentication_source": "admin"}

与Kernel的连接：

• Conn Id：kernel_conn
• Conn Type：HTTP
• Host：Kernel主机地址
• Port：Kernel主机端口

与对象存储（Minio）的连接：

• Conn Id：aws_default
• Conn Type：Amazon Web Service
• Schema：http 或 https
• Login：对象存储登录名
• Extra：{"host": "<主机地址:端口>"}

变量

必填变量：

• BASE_TITLE_FOLDER_PATH：ISIS title数据库的源目录
• BASE_ISSUE_FOLDER_PATH：ISIS issue数据库的源目录
• WORK_FOLDER_PATH：ISIS数据库的复制目录
• SCILISTA_FILE_PATH：scilista文件的读取路径
• XC_SPS_PACKAGES_DIR：待同步的SPS包源目录
• PROC_SPS_PACKAGES_DIR：待同步的SPS包目标目录
• NEW_SPS_ZIP_DIR：优化后的SPS包目标目录
• WEBSITE_URL_LIST：用于验证资源可用性的SciELO网站URL列表，例如：["http://www.scielo.br", "https://new.scielo.br"]
• OBJECT_STORE_URL：对象存储URL，用于过滤HTML中的URI，以验证文档的数字资产和manifestations在HTML代码中的存在性
• KERNEL_FETCH_DATA_TIMEOUT：Kernel数据读取请求的超时时间

可选变量：

• TIMEOUT_FOR_SINGLE_REQ（可选）：单个请求的超时时间（秒），默认10秒
• TIMEOUT_FOR_MULT_REQ（可选）：并发请求的总超时时间（秒），默认300秒
• PID_LIST_CSV_FILE_NAMES（可选）：需存在于XC_SPS_PACKAGES_DIR中的CSV文件名列表，将被复制到PROC_SPS_PACKAGES_DIR/DAG_RUN_ID，用于验证文档、数字资产和manifestations可用性的DAG
• CHECK_SCI_SERIAL_PAGES（可选，默认true）：设为false时禁用sci_serial页面的验证
• CHECK_SCI_ISSUES_PAGES（可选，默认true）：设为false时禁用sci_issues页面的验证
• CHECK_SCI_ISSUETOC_PAGES（可选，默认true）：设为false时禁用sci_issuetoc页面的验证
• CHECK_SCI_ARTTEXT_PAGES（可选，默认true）：设为false时禁用sci_arttext页面的验证
• CHECK_SCI_PDF_PAGES（可选，默认true）：设为false时禁用sci_pdf页面的验证
• CHECK_RENDITIONS（可选，默认true）：设为false时禁用对象存储中manifestations的验证
• CHECK_DIGITAL_ASSETS（可选，默认true）：设为false时禁用对象存储中数字资产的验证
• CHECK_WEB_HTML_PAGES（可选，默认true）：设为false时禁用/j/:acron/a/:iddoc/format=html&lang=??格式的Web页面验证（含语言变体），同时禁用对HTML结果中组件（数字资产存在性及文档其他版本链接）的验证
• CHECK_WEB_PDF_PAGES（可选，默认true）：设为false时禁用/j/:acron/a/:iddoc/format=pdf&lang=??格式的Web页面验证（含语言变体）
• IS_SPORADIC：布尔值，定义流程结束时是否发送邮件，默认False，可选值为字符串['False', 'True']

环境变量

• AIRFLOW_HOME：应用安装目录
• EMAIL_ON_FAILURE_RECIPIENTS：失败通知邮件接收地址，默认：infra@scielo.org
• AIRFLOW__SMTP__SMTP_HOST：邮件服务器地址
• AIRFLOW__SMTP__SMTP_USER：发送邮件的***地址
• AIRFLOW__SMTP__SMTP_PASSWORD：发送邮件的***密码
• AIRFLOW__SMTP__SMTP_MAIL_FROM：发件人***地址
• AIRFLOW__SMTP__SMTP_SSL：True或False，指示邮件服务器是否使用加密
• AIRFLOW__SMTP__SMTP_PORT：邮件服务器端口
• AIRFLOW__SENTRY__SENTRY_DSN：Sentry项目的DSN，用于记录执行中的traceback
• POSTGRES_USER：Postgres连接用户名
• POSTGRES_PASSWORD：Postgres连接密码
• POSTGRES_HOST：Postgres主机地址
• POSTGRES_PORT：Postgres端口
• POSTGRES_DB：Opac-airflow的Postgres数据库名

DAG执行顺序

sync_isis_to_kernel

pre_sync_documents_to_kernel

sync_documents_to_kernel

   sync_kernel_to_website

sync_external_content_to_website（每周六00:00执行）

使用许可

Copyright 2018 SciELO <***>。基于BSD许可条款授权。更多信息请参见源代码中的LICENSE文件。

https://github.com/scieloorg/opac-airflow/blob/master/LICENSE