alephdata/aleph

Aleph 镜像文档

概述

Aleph 是一款用于索引大量非结构化（如PDF、Word、HTML）和结构化（如CSV、XLS、SQL）数据的工具，旨在实现数据的便捷浏览和搜索。其核心设计目标是支持调查性报道，允许将知名实体（如个人和公司）的提及与观察列表（如先前研究或公共数据集中的列表）进行交叉引用。

核心功能和特性

• Web 界面搜索：提供基于 Web 的用户界面，支持在大型文档和数据集上进行高效搜索。
• 观察列表编辑器：可创建自定义实体集合，用于追踪特定实体。
• 多数据类型支持：同等支持结构化（表格）和非结构化（文本）数据源。
• 多样化导入器：包含本地文件系统遍历器、网络爬虫和 SQL 查询导入器。
• 文档实体标记：基于正则表达式实现实体标记，可选集成自然语言处理（NLP）能力。
• 数据处理能力：支持 OCR 识别、Zip/RAR/Tarball 解压、语言和编码自动检测。
• 实体观察列表集成：支持从 OpenSanctions 导入实体观察列表。
• 权限控制：基于 OAuth 的授权机制，支持按数据源和观察列表进行细粒度访问控制。
• 结果导出：支持将搜索结果导出为 Excel 格式。

使用场景和适用范围

Aleph 适用于需要处理和分析大量混合数据类型的场景，主要包括：

• 调查性报道：帮助记者索引和交叉引用各类数据，追踪关键实体。
• 数据搜索与分析：对结构化和非结构化数据进行统一搜索和深度分析。
• 实体监控：通过自定义观察列表持续追踪特定实体在数据中的提及情况。

使用方法和配置说明

文档参考

Aleph 的完整文档可在 aleph.readthedocs.io 获取。如需改进文档，可编辑项目 docs 文件夹中的源文件并提交拉取请求。

构建文档

如需本地构建文档，执行以下命令：

bash
make docs

构建完成的 HTML 文件将位于 /build/docs/html 目录下。

支持与反馈

Aleph 已被多个组织采用，包括 Code for Africa、OCCRP 和 OpenOil。用户可通过以下渠道获取支持：

• 邮件列表：aleph-search
• 问题反馈：通过 https://github.com/alephdata/aleph/issues/new 提交错误报告或功能建议。