cogstacksystems/cogstack-pipeline

CogStack Pipeline Docker镜像文档

镜像概述和主要用途

CogStack是一个轻量级分布式、容错的数据库处理架构和生态系统，旨在资源受限环境中简化NLP处理和预处理。CogStack Pipeline作为其核心组件，提供可配置的数据处理管道，专门用于处理电子健康记录（EHR）数据。它主要使用数据库和文件作为EHR数据的主要来源（即将支持自定义数据连接器），基于https://spring.io/projects/spring-batch%E6%A1%86%E6%9E%B6%E6%9E%84%E5%BB%BA%EF%BC%8C%E5%8F%AF%E7%94%9F%E6%88%90%E5%8F%AF%E7%9B%B4%E6%8E%A5%E7%B4%A2%E5%BC%95%E5%88%B0https://www.elastic.co/%E7%9A%84%E6%B3%A8%E9%87%8AJSON%E6%96%87%E4%BB%B6%EF%BC%8C%E4%B9%9F%E5%8F%AF%E5%AD%98%E5%82%A8%E4%B8%BA%E6%96%87%E4%BB%B6%E6%88%96%E6%8E%A8%E5%9B%9E%E6%95%B0%E6%8D%AE%E5%BA%93%E3%80%82

核心功能和特性

• 可配置的数据处理管道：基于Spring Batch框架，支持灵活定义数据读取、处理和写入流程
• 多数据源支持：主要支持数据库和文件作为数据输入源
• EHR数据处理优化：专为结构化和非结构化EHR数据设计，高效处理***健康记录
• 多样化输出目标：支持将处理结果存储到ElasticSearch、文件系统或回写到数据库
• 分布式与容错：轻量级分布式架构，具备故障容错能力，适应资源受限环境
• Docker化部署：通过Docker Compose实现多微服务协同部署，简化配置和运行流程

使用场景和适用范围

• ***健康数据处理：处理电子健康记录（EHR）中的结构化和非结构化数据
• NLP预处理：为***文本的自然语言处理提供标准化数据输出
• 资源受限环境：适用于计算资源有限的***机构或研究环境
• 数据索引与查询：生成可直接用于ElasticSearch索引的数据，支持后续通过Kibana进行可视化查询
• 多源数据整合：支持从多个数据库或文件系统整合***数据

详细使用方法和配置说明

环境准备

需安装以下工具：

• Git
• Docker
• Docker Compose
• Bash

获取CogStack

通过GitHub仓库获取CogStack Pipeline：

bash
# 克隆仓库
git clone https://github.com/CogStack/CogStack-Pipeline.git

# 或从Releases页面下载压缩包并解压
# https://github.com/CogStack/CogStack-Pipeline/releases

示例数据集

本教程使用的示例数据集包含两类EHR数据：

• 合成数据：使用https://synthetichealth.github.io/synthea/%E7%94%9F%E6%88%90%E7%9A%84%E7%BB%93%E6%9E%84%E5%8C%96%E5%90%88%E6%88%90EHR%E6%95%B0%E6%8D%AE
• 报告：来自MTsamples的非结构化健康报告文档

完整数据集描述请参考官方Confluence文档。

部署步骤

1. 下载数据库dump文件

在examples/目录下执行：

bash
bash download_db_dumps.sh

2. 运行 setup 脚本

进入examples/example2/目录，执行 setup 脚本准备部署文件：

bash
bash setup.sh

执行后会创建__deploy/临时目录，包含所有部署所需文件。

3. Docker Compose部署

进入examples/example2/__deploy/目录，启动CogStack生态系统：

bash
docker-compose up

微服务组成

部署的CogStack生态系统包含以下微服务：

• samples-db：PostgreSQL数据库，包含预加载的示例数据集（数据库名db_samples）
• cogstack-pipeline：CogStack数据处理管道及工作节点
• cogstack-job-repo：PostgreSQL数据库，存储CogStack作业信息
• elasticsearch-1：ElasticSearch单节点，存储处理后的EHR数据
• kibana：Kibana数据可视化工具，用于查询ElasticSearch中的数据

连接微服务

Kibana访问

通过浏览器访问Kibana仪表板：

http://localhost:5601/

首次使用需在Kibana管理面板配置索引模式（参考https://www.elastic.co/guide/en/kibana/current/tutorial-define-index.html%EF%BC%89%E3%80%82

ElasticSearch访问

ElasticSearch REST端点：

http://localhost:9200/

示例查询：

bash
# 列出所有索引
curl 'http://localhost:9200/_cat/indices'

# 查询特定索引
curl 'http://localhost:9200/sample_observations_view'

PostgreSQL数据库访问

示例数据库暴露端口5555，连接信息：

• 数据库名：db_samples
• 用户名：test
• 密码：test

连接命令：

bash
psql -U 'test' -W -d 'db_samples' -h localhost -p 5555

官方文档与资源

• CogStack官方Confluence文档：获取最新使用指南、构建方法和示例部署
• https://github.com/CogStack/CogStack-Pipeline%EF%BC%9A%E6%BA%90%E4%BB%A3%E7%A0%81%E5%92%8C%E5%8F%91%E5%B8%83%E7%89%88%E6%9C%AC

相关出版物

• Jackson R, Agrawal A, Lui K, et al. CogStack - Experiences Of Deploying Integrated Information Retrieval And Extraction Services In A Large National Health Service Foundation Trust Hospital. BMC medical informatics and decision making. 2018;18(1):47. https://dx.doi.org/10.1186%2Fs***-018-0623-9