liquidinvestigations/hoover-search

Liquid Investigations

本仓库是Liquid Investigations的一部分。

• https://github.com/liquidinvestigations/hoover-search.git
• https://github.com/liquidinvestigations/docs/wiki
• https://github.com/liquidinvestigations/docs/wiki/Security
• https://github.com/liquidinvestigations/docs/wiki/Contributing
• https://github.com/liquidinvestigations/docs/blob/37c1fd98b643a10a321ae124f2636ce738cb159d/github_community_health/files/.github/CODE_OF_CONDUCT.md

Hoover是一款用于大量文档集合的搜索工具。它整合了elasticsearch和Apache Tika等成熟的开源技术，以辅助调查记者的工作。

搜索功能

搜索通过用户友好的Web界面进行，该界面利用了Lucene丰富的查询语法。Hoover还提供API，可使用elasticsearch的查询DSL运行查询。

安装

使用https://github.com/liquidinvestigations/docs/wiki

开发

存在测试套件；在hoover-search容器上运行./run testsuite即可执行测试。

生产环境运行

依赖项中已安装Waitress，这是一个生产级别的线程化WSGI服务器。选择一个端口号（例如8888），按以下方式运行——它不会后台运行，因此您可以通过supervisor或其他现代守护进程管理器启动它：

shell
./run server --host=127.0.0.1 --port=8888

之后，您可能需要在应用前设置反向代理。以下是最小化的Nginx配置：

nginx
location / {
  proxy_pass http://localhost:8888;
  proxy_set_header Host $host;
  proxy_set_header X-Forwarded-Proto $scheme;
}

配置

要自定义Hoover的行为，您可以在hoover/site/settings/local.py中设置以下Django配置：

• HOOVER_HYPOTHESIS_EMBED_URL：嵌入Hypothesis客户端的URL，例如https://hypothes.is/embed.js

Snoop与外部集合

对于大型数据集，通过管理界面上传文件并不实用，因此您可以使用https://github.com/hoover/snoop%E3%80%82%E5%AE%83%E6%98%AF%E4%B8%80%E6%AC%BE%E7%94%A8%E4%BA%8E%E9%A2%84%E5%A4%84%E7%90%86%E9%9B%86%E5%90%88%E3%80%81%E4%BB%8E%E7%94%B5%E5%AD%90%E9%82%AE%E4%BB%B6%E5%92%8C%E6%96%87%E6%A1%A3%E4%B8%AD%E6%8F%90%E5%8F%96%E5%85%83%E6%95%B0%E6%8D%AE%E4%BB%A5%E5%8F%8A%E8%AE%BF%E9%97%AE%E5%BD%92%E6%A1%A3%E6%96%87%E4%BB%B6%E5%92%8C%E7%94%B5%E5%AD%90%E9%82%AE%E4%BB%B6%E9%99%84%E4%BB%B6%E5%86%85%E5%AE%B9%E7%9A%84%E5%B7%A5%E5%85%B7%E3%80%82Snoop%E4%BD%9C%E4%B8%BA%E7%8B%AC%E7%AB%8B%E7%9A%84Django%E5%BA%94%E7%94%A8%E7%A8%8B%E5%BA%8F%E6%8F%90%E4%BE%9B%EF%BC%8C%E5%AE%83%E7%9B%91%E5%90%ACHTTP%E7%AB%AF%E5%8F%A3%EF%BC%8C%E6%8F%90%E4%BE%9B%E6%96%87%E6%A1%A3%E9%A2%84%E8%A7%88%E5%92%8C%E5%8E%9F%E5%A7%8B%E6%96%87%E6%A1%A3%E8%AE%BF%E9%97%AE%EF%BC%8C%E5%B9%B6%E8%87%AA%E8%A1%8C%E5%A4%84%E7%90%86elasticsearch%E4%B8%AD%E7%9A%84%E6%96%87%E6%A1%A3%E7%B4%A2%E5%BC%95%E3%80%82

要将其与hoover-search配合使用，请先设置snoop服务，分析数据并发送到elasticsearch，然后返回hoover-snoop，创建类型为“外部”的新集合，并使用以下选项：

json
{
  "documents": "http://localhost:8001/doc",
  "renderDocument": true
}

documents URL由hoover-snoop的URL（本示例中为http://localhost:8001）后跟/doc组成。

renderDocument告诉hoover-search使用hoover-ui的新doc.html视图来呈现文档预览页面。如果不使用hoover-ui，则省略此标志。

本地运行测试

从drone官网下载drone CLI二进制文件并添加到PATH中。安装最新版本的Docker CE。

然后，使用通常传递给py.test的参数运行./run-tests，例如：

./run-tests -vvv -x -k ratelimits

测试期间将创建docker-setup目录。测试完成后，确保使用sudo rm -r docker-setup删除该目录。