cogstacksystems/medcat-trainer

Medical oncept Annotation Tool Trainer

MedCATTrainer是一个用于构建、改进和定制生物医学领域文本命名实体识别与链接（NER+L）模型（MedCAT）的界面。

MedCATTrainer在EMNLP/IJCNLP 2019会议上发布：论文链接

目录

1. 安装
2. 管理员设置
3. 用户指南
   1. 创建注释项目
      1. 注意事项
   2. 注释界面
      1. 第1部分 - 文档摘要列表
      2. 第2部分 - 临床文本
         1. 添加注释
      3. 第3部分 - 操作栏
         1. 概念导航按钮
         2. 概念状态按钮
         3. 提交按钮
      4. 第4部分 - 头部工具栏
      5. 第5部分 - 概念摘要
   3. 元注释
      1. 元注释配置
   4. 项目与工具管理
      1. 配置概念选择器
      2. 下载注释
      3. 克隆项目
      4. 重置项目
      5. 保存模型
      6. 下载模型
4. 注释指南
5. 高级用法

安装

MedCATTrainer是一个基于Docker Compose打包的Django应用。

快速安装脚本会下载docker-compose文件、默认环境变量并运行它们。

1. $ git clone https://github.com/CogStack/MedCATtrainer 
   

$ cd MedCATtrainer $ docker-compose up

如果您使用的是MedCAT v0.x模型，并希望使用该训练器，请使用以下docker-compose文件： 此文件引用了仍与MedCAT v0.x及以下版本兼容的最新训练器构建镜像。

$ docker-compose -f docker-compose-mc0x.yml up

如果构建失败并显示错误代码137，说明运行Docker守护进程的虚拟机内存不足。请在Docker守护进程设置的CLI或相关Docker GUI中增加容器的分配内存。

Mac系统：[***]

Windows系统：[***]

2. MedCATTrainer现已运行：

• 主应用可通过 http://localhost:8001/ 访问
• 管理员应用可通过 http://localhost:8001/admin/ 访问

初始安装时，会设置示例管理员用户、示例数据集、概念数据库、词汇表和项目。下一部分将提供更多详细信息。

3. （可选）可通过环境变量配置应用：

设置这些变量后，重新运行docker-compose文件。如果已运行容器，需要先停止容器。

管理员设置

1. 容器运行的是一个标准django应用，初始加载时会创建默认管理员用户，详情如下：

用户名：admin
密码：admin

2. 强烈建议在生产环境中使用训练器并存储敏感临床文档前，创建新的管理员用户。要添加新用户，请导航至 http://localhost:8001/admin/ 并选择“Users”。

3. 选择“Add User”并填写表单创建新用户名/密码。

4. 创建后，选择新用户，勾选“Staff Status”（ staff状态）或“Superuser Status”（超级用户状态），以允许用户访问管理员应用。

5. 通过步骤2导航至默认管理员用户，选择该用户并执行删除操作，移除默认admin用户。

用户指南

演示

为便于演示和当前模型的常规测试，主屏幕的“Demo”（演示）选项卡提供了简化版的注释器。

该界面与真实项目的注释屏幕类似（详见此处），但无需特定数据集、过滤器设置和其他项目配置。此视图不允许对识别的概念进行“注释”（或添加新概念），但允许用户通过交互方式了解现有MedCAT模型的注释能力。

1. 表单功能：

• 选择要查看概念注释的项目模型。
• 输入要注释并显示在2中的临床文本。
• 可使用CUI和TUI过滤器仅显示2中感兴趣的概念。例如，对于UMLS CDB，T047可表示“疾病或综合征”。如果两个表单输入都有内容，CUI和TUI过滤器将组合使用。

2. 此处显示示例临床文本，文本片段以蓝色高亮。点击任何注释可在3中显示链接的概念数据库详情。

3. 从2中选择的概念的链接概念详情。

创建注释项目

通过管理员页面，已配置的超级用户可以创建、编辑和删除注释项目。

注释项目用于检查、验证和改进MedCAT识别的概念。

1. 导航至 http://localhost:8001/admin/ 并选择“Project annotate entities”（项目注释实体）。

!主菜单列表

2. 点击“Add Project Annotate Entities”（添加项目注释实体）。

!添加项目注释实体按钮

3. 填写新注释项目表单。下表详细说明各字段的用途：

数据集可上传CSV或XLSX格式文件。示例：

name列可选，若上传时未提供，将为每个文档自动生成名称。示例数据集位于docs/example_data/*.csv。

4. 点击“Save”（保存）存储新项目。

5. 导航至主屏幕（http://localhost:8001/），使用之前设置的用户名和密码登录。

6. 选择新创建的项目开始注释文档。

注意事项

注意：示例概念数据库和词汇表可在MedCAT https://github.com/CogStack/MedCAT%E5%85%8D%E8%B4%B9%E8%8E%B7%E5%8F%96%E3%80%82%E6%B3%A8%E6%84%8F%EF%BC%9AUMLS%E5%92%8CSNOMED-CT%E6%98%AF%E8%AE%B8%E5%8F%AF%E4%BA%A7%E5%93%81%EF%BC%8C%E5%9B%A0%E6%AD%A4%E7%9B%AE%E5%89%8D%E4%BB%85%E6%8F%90%E4%BE%9B%E8%BF%99%E4%BA%9B%E8%BE%83%E5%B0%8F%E7%9A%84%E8%AE%AD%E7%BB%83%E6%A6%82%E5%BF%B5/%E8%AF%8D%E6%B1%87%E6%95%B0%E6%8D%AE%E5%BA%93%E3%80%82

关于从各自源数据创建UMLS/SNOMED-CT CDB的更多文档将很快发布。

重要注意：任务允许创建元注释及其关联的注释者可用值集。例如，“元注释”可以是“时间性”，值可以是“过去”、“现在”、“未来”。

注意：当前不支持Firefox和IE浏览器。请使用Chrome或Safari。

注释界面

注释界面最初可分为5个部分。

第1部分 - 文档摘要列表

项目中待完成的文档列表。当前选中的文档左侧边框以蓝色高亮。已提交的文档标记有!tick_mark。

第2部分 - 临床文本

选中文档的文本，其中配置的MedCAT模型识别的每个概念都高亮显示。高亮文本片段指示注释状态：

• 灰色：用户尚未审核由MedCAT识别并链接到CDB概念的文本片段。
• 蓝色：用户已审核该片段并标记其链接的MedCAT概念正确。
• 红色：用户已审核该片段并标记其链接的MedCAT概念不正确。
• 深红色：用户已审核该片段并标记为终止，表示该文本片段不应再链接到此概念，告知MedCAT不再将该文本片段与此概念关联。
• 青绿色：用户已审核该片段并标记为替代链接概念。用户通过“概念选择器”选择了应链接的正确概念。

添加注释

MedCAT可能会遗漏缩略语、缩写词或概念拼写错误的文本片段。可通过直接高亮文本片段、右键点击、选择“Add Term”（添加术语）、搜索概念（通过ID或名称）并选择添加术语来添加缺失的注释：

-> ->

选择：

• Add Term（添加术语）：将此注释添加到文本片段并链接所选概念
• Cancel（取消）：（快捷键esc）取消添加注释到文本。

第3部分 - 操作栏

概念导航

在文档中出现的概念列表之间导航：

• 左右操作按钮
• 键盘左右箭头键
• 直接点击文本中的概念。

概念状态按钮

一个概念只能标记一种状态。状态会被记录，但仅在提交文档且项目配置了“Train Model On Submit”（提交时训练模型）时才会发送给MedCAT进行训练。

提交按钮

所有概念都经过审核并标记状态后，提交按钮才会启用。点击提交将显示包含注释摘要的确认对话框。确认提交后，所有新注释将发送到MedCATTrainer中间层，并重新训练MedCAT模型。之后将选择下一个文档，并使用新训练的MedCAT模型进行注释。

第4部分 - 头部工具栏

显示当前审核文档的名称和项目中剩余待注释文档的数量，操作按钮包括：

• ：当前注释摘要。提交注释确认前会显示类似视图。
• ：帮助对话框，显示文档和概念导航、概念注释及提交的快捷键。
• ：重置文档。如果错误添加或提交了注释，重置文档将清除所有先前的注释及其状态。

第5部分 - 概念摘要

列出当前选中概念的详情。

元注释

MedCAT还能够学习覆盖在基础概念注释层之上的项目和上下文特定注释。

元注释的示例用例包括训练模型预测：

• 所有疾病概念是否由患者、亲属经历，或不适用。
• 所有症状概念在时间上是当前还是历史。
• 所有药物概念是患者用药提及还是假设提及。
• 患者的主诉是主要还是次要。

MedCATTrainer可通过管理员应用配置，以支持收集这些元注释。目前尚未集成概念识别的主动学习组件。

元注释配置

要创建新的元注释任务并附加到现有项目：

1. 通过管理员页面（http://localhost:8001/admin/）进入项目配置设置。

2. 在表单底部，点击+图标打开新元注释任务表单。

3. 填写表单，并通过“+”图标和“values”（值）输入为任务添加所需的元任务值。值是特定任务的枚举选项，可跨项目重用或特定于项目。确保默认值是可用值之一。描述会显示在界面中的任务旁，并在帮助对话框中详细显示。

4. 按住（ctrl/cmd）并点击元任务，选择所需的元注释任务，然后点击“Save”（保存）保存项目更改。

5. 元注释现在会显示在该项目的界面中，位于概念摘要下方。元注释仅对标记为正确的概念显示。

项目/工具管理

概念选择器 - CDB概念导入

概念选择器用于：

• 为现有识别的文本片段选择替代概念
• “Add Term”（添加术语）过程中选择概念。

可用概念列表通过MedCAT CDB填充并建立索引，以支持快速的预输入式搜索。

SNOMED-CT/UMLS构建的数据库可能包含数千甚至数百万个概念，因此此过程以异步任务执行，确保管理员页面和应用仍可正常使用。

每个概念体系（如SNOMED-CT、UMLS是两个不同的概念体系）每个部署仅需执行一次此过程，