ukwa/python-w3act

python-w3act

镜像概述和主要用途

python-w3act 是一个用于处理与 https://github.com/ukwa/w3act/ 服务交互的Python包。它封装了常见操作，重点在于从W3ACT中提取数据。其主要接口为 w3act 命令，该命令基于下载Java W3ACT PostgreSQL数据库的CSV版本，然后对其进行分析和数据提取。部署通过Docker容器及ukwa-services仓库中的脚本实现。

核心功能和特性

• 封装常见交互操作：简化与w3act服务的交互流程
• 数据提取能力：专注于从W3ACT中提取关键数据
• CSV数据库处理：支持下载PostgreSQL数据库的CSV版本并进行分析
• 命令行接口：提供 w3act 命令作为主要操作入口
• 衍生数据生成：可基于CSV数据生成各类衍生数据（如Solr索引数据）
• Docker部署支持：支持通过Docker容器进行部署

使用场景和适用范围

• w3act服务的数据提取与分析
• 开发环境中与w3act服务的交互测试
• 基于w3act数据构建衍生应用（如Solr索引）
• 需要自动化处理w3act数据库数据的场景

使用方法和配置说明

开发环境设置

1. 创建Python虚拟环境

bash
$ virtualenv -p python3 venv
$ source venv/bin/activate

2. 安装依赖

bash
$ pip install -r requirements.txt

注意：可能需要安装额外的系统库（具体依赖待补充）

运行开发版本

开发阶段可直接通过Python模块运行，无需安装 w3act 命令：

bash
# 查看命令行帮助
$ python -m w3act.dbc.cmd -h

数据库CSV文件获取

1. 加载环境变量（假设ukwa-services-env仓库可用）

bash
$ source ~/gitlab/ukwa-services-env/w3act/prod/w3act.env

2. 下载CSV文件

bash
$ python -m w3act.dbc.cmd get-csv -H 192.168.45.60 -P 5434 -p $W3ACT_PSQL_PASSWORD

• -H：数据库服务器地址
• -P：数据库端口
• -p：数据库密码（从环境变量获取）

CSV文件将默认下载到 ./w3act-db-csv 目录。

衍生数据生成示例

更新Solr索引

bash
# 向指定Solr实例更新collections索引
$ python -m w3act.dbc.cmd -v update-collections-solr http://localhost:9021/solr/collections

• -v：启用详细输出模式
• http://localhost:9021/solr/collections：Solr索引地址

部署方式

部署通过Docker容器进行，具体部署脚本可参考ukwa-services仓库中的相关配置。