o2rproject/o2r-meta

o2r meta

这是一套用于元数据提取、映射、验证工作流的工具集合，包含以下核心功能：
0. o2r元数据的schema定义与文档

1. 提取：从工作空间文件中收集元数据信息
2. 映射：将o2r元数据转换为第三方schema
3. 验证：检查元数据集是否符合schema规范
4. 采集：通过OAI-PMH从外部源收集元数据
5. 扩展：添加新的文件解析器

关于其在o2r项目中的角色，请参考https://github.com/o2r-project/architecture%E3%80%82

许可证

o2r-meta采用Apache License 2.0许可协议，详见LICENSE文件。版权所有(C) 2016, 2017 - o2r项目。

安装

Python环境

1. 安装Python 3.6
2. 安装依赖：

   bash
   pip install -r requirements.txt  
   

Docker部署

构建镜像：

bash
docker build -t meta .  

运行示例（提取测试数据）：

bash
docker run --rm -v $(pwd)/extract/tests/:/testdata:ro docker.xuanyuan.run/meta -debug extract -i /testdata -s

容器默认用户为o2r（UID:1000）以避免权限问题：

bash
mkdir /tmp/testout  
docker run --rm -v $(pwd)/extract/tests/:/testdata:ro -v /tmp/testout:/testout:rw docker.xuanyuan.run/meta -debug extract -i /testdata -o /testout
ls /tmp/testout  

核心功能与使用

调用格式：

bash
python o2rmeta [-debug] extract|validate|broker|harvest <参数>  

1. 提取工具

从文件中收集元数据：

bash
python o2rmeta.py extract -i <输入目录> -s|-o <输出目录> [-xo] [-xml]  

2. 映射工具

转换元数据至第三方标准（如Zenodo）：

bash
python o2rmeta.py broker -i <输入文件> -m <映射文件> -o <输出目录>  

3. 验证工具

检查元数据是否符合schema：

bash
python o2rmeta.py validate -s <schema路径> -c <待验证文件>  

4. 采集工具

通过OAI-PMH获取外部元数据（演示版）：

bash
python o2rmeta.py harvest -e <元素类型> -q <查询词>  

添加新解析器

编写Python类实现解析逻辑，保存至parsers目录，并在metaextract.py中注册：

python
from docker.xuanyuan.run/parsers.parse_abc import ParseAbc  
PARSERS_CLASS_LIST.append(ParseAbc())  

测试

使用pytest运行测试：

bash
pytest -vv --tb=long extract/tests/test_extract_offline.py  

VSCode调试配置示例：

json
{  
    "name": "Python: Tests",  
    "type": "python",  
    "request": "launch",  
    "program": "/usr/local/bin/pytest",  
    "cwd": "${workspaceFolder}",  
    "console": "integratedTerminal"  
}