datacite/shiba-inu

DOI解析日志处理管道

Shiba-Inu是基于Logstash的DOI解析日志处理管道，遵循《研究数据使用指标实践规范》（[***]

核心功能

• 处理符合格式要求的DOI解析日志
• 生成遵循行业规范的JSON格式使用报告
• 支持本地生成、推送至MDC Hub或流式传输大型报告
• 集成Elasticsearch存储处理后的日志数据

使用场景

• 科研机构/数据平台处理DOI解析日志，获取使用指标
• 生成合规报告用于学术评估或数据共享
• 向MDC Hub提交DOI使用数据，参与全球数据指标体系

配置说明

环境变量

运行前需设置以下关键环境变量：

ES_HOST=http://elasticsearch:9200  # Elasticsearch实例地址
ES_INDEX=resolutions  # 日志存储索引名
INPUT_DIR=/usr/share/logstash/tmp/DataCite-access.log-201805  # 输入日志路径
OUTPUT_DIR=/usr/share/logstash/tmp/output.json  # 输出文件路径
HUB_TOKEN=your_token  # MDC Hub访问令牌
HUB_URL=https://api.test.datacite.org  # MDC Hub API地址

日志格式要求

输入日志需满足：

• 单行长日志
• 包含字段：doi（DOI名称）、occurred_at（ISO8601时间戳）、clientip（IP地址）、user_agent（用户代理）

需在/vendor/docker/log_configuration.tmpl配置Grok解析规则，示例：

logstash
"^%{IP:clientip} (?<handle>(HTTP:HDL)) %{QS:occurred_at} %{INT:ld} %{INT:resp_code} (?<ms>((.+ms))) %{DOI:doi} %{QS:server} %{QS:something} %{QS:user_agent}"

部署示例

Docker Run

bash
docker run -p 8090:9200 \
  -e ES_HOST=http://elasticsearch:9200 \
  -e ES_INDEX=resolutions \
  datacite/shiba-inu

Docker Compose

yaml
version: '3'
services:
  shiba-inu:
    image: datacite/shiba-inu
    ports: ["8090:9200"]
    environment:
      ES_HOST: http://elasticsearch:9200
      ES_INDEX: resolutions
  elasticsearch:
    image: elasticsearch:7.17.0
    ports: ["9200:9200"]
    environment:
      - discovery.type=single-node
      - ELASTIC_PASSWORD=changeme

生成报告步骤

1. 复制日志：将月度日志（合并或有序命名）放入/usage_logs目录
2. 自动处理：管道检测到新日志后自动开始处理
3. 生成报告：进入容器执行命令（需加载RVM环境）：

   bash
   source /usr/local/rvm/scripts/rvm
   rvm user gemsets
   # 本地生成报告
   bundle exec kishu sushi generate_report created_by:your_client_id
   # 推送至MDC Hub
   bundle exec kishu sushi push_report created_by:your_client_id
   # 流式传输大型报告
   bundle exec kishu sushi stream_report created_by:your_client_id
   

开发与贡献

测试

使用Rspec进行测试：

bash
ruby -S bundle exec rspec

贡献指南

1. Fork仓库
2. 编写测试用例
3. 实现功能/修复bug
4. 提交PR（建议使用主题分支）

许可证

基于https://github.com/datacite/shiba-inu/blob/master/LICENSE%E5%8F%91%E5%B8%83%E3%80%82