harvardcga/registry

Registry

概述和主要用途

Registry是一个基于Web的平台，通过CSW-T（ Catalogue Service for the Web - Transaction）协议捕获地理空间内容，并将信息索引到Elasticsearch引擎中以实现快速搜索。它支持多目录管理、地理空间数据索引与检索，并集成MapProxy提供TMS/WMTS访问能力。

!Registry界面

核心功能和特性

• CSW-T支持：通过pycsw实现地理空间数据的事务处理（插入、更新、删除）
• Elasticsearch集成：将地理空间信息镜像到Elasticsearch，提供快速搜索能力
• OpenSearch API：扩展CSW标准，支持基于不同字段的分面搜索
• MapProxy支持：为各类资源提供TMS/WMTS访问能力
• 多目录管理：支持创建和管理多个独立的地理空间数据目录

安装步骤

以下安装步骤基于Ubuntu 14.04系统：

1. 安装并配置Elasticsearch

sh
wget -qO - https://packages.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -
echo "deb https://packages.elastic.co/elasticsearch/2.x/debian stable main" | sudo tee -a /etc/apt/sources.list.d/elasticsearch-2.x.list
sudo apt-get update && sudo apt-get install elasticsearch
sudo sed -i -e 's/#ES_HEAP_SIZE=2g/ES_HEAP_SIZE=1g/' /etc/default/elasticsearch
sudo service elasticsearch start

2. 获取Registry源代码

sh
# 方法一：通过zip包
wget https://github.com/boundlessgeo/registry/archive/master.zip
unzip master.zip
cd registry-master/

# 方法二：通过git克隆
git clone https://github.com/boundlessgeo/registry.git
cd registry

3. 安装Registry模块

sh
pip install -r requirements.txt
pip install -e .

4. 配置pycsw数据库

sh
python registry.py pycsw -c setup_db

5. 数据库优化（仅支持PostgreSQL和MySQL）

sh
python registry.py pycsw -c optimize_db

使用方法

0. 运行测试套件

验证环境并安装依赖（如pytest）：

sh
python setup.py test

1. 启动服务器

服务器将在8000端口监听：

sh
python registry.py runserver

2. 列出所有目录

sh
curl http://localhost:8000/catalog

3. 通过API创建目录

sh
curl -XPUT http://localhost:8000/catalog/<catalog_slug>/csw

注意：必须先创建目录才能向其添加记录

4. 添加记录到数据库和搜索引擎

通过CSW事务

sh
curl -XPOST -d @payload.xml http://localhost:8000/catalog/<catalog_slug>/csw

通过命令行

sh
python registry.py pycsw -c load_records -p /records/files/path/ -s <catalog_slug>

5. 搜索API端点

搜索所有记录

sh
curl http://localhost:8000/api/

搜索特定目录的记录

sh
curl http://localhost:8000/catalog/<catalog_slug>/api/

6. 从CSW获取记录

sh
curl -XGET http://localhost:8000/layer/<layer_uuid>.xml

7. 获取MapProxy YAML配置文件

sh
curl -XGET http://localhost:8000/layer/<layer_uuid>.yml

8. 获取MapProxy PNG图像

sh
curl -XGET http://localhost:8000/layer/<layer_uuid>.png

9. 从pycsw数据库重新索引图层

sh
python registry.py pycsw -c reindex -s catalog_slug

10. 删除目录

通过服务器请求

sh
curl -XDELETE http://localhost:8000/catalog/<catalog_slug>/csw

通过命令行

sh
python registry.py pycsw -c delete_records -s catalog_slug

Swagger UI

为开发和测试搜索API，可使用独立的swagger-ui服务器：

1. 关闭Web安全启动Google Chrome：

sh
open -a Google\ Chrome --args --disable-web-security --user-data-dir

2. 下载并启动swagger-ui（指定不同端口）：

sh
git clone git@github.com:swagger-api/swagger-ui.git
python -m SimpleHTTPServer 8001

3. 在API选择器中输入Registry的Swagger配置文件地址：

http://localhost:8000/api/config

可靠性维护

1. 列出图层UUID并保存到文本文件：

sh
python registry.py pycsw -c list_layers > uuids.txt

2. 对每个图层UUID执行检查：

sh
cat uuids.txt | python registry.py check_layers > checked_uuids.txt

3. 更新Elasticsearch包含可靠性信息：

sh
cat checked_uuids.txt | python registry.py reliability

测试

1. 启动Elasticsearch
2. 运行测试：

sh
python setup.py test

故障排除

1. 记录解析失败：'Csw' object has no attribute 'repository'

错误信息：

xml
<ows:ExceptionText>Transaction (insert) failed: record parsing failed: 'Csw' object has no attribute 'repository'</ows:ExceptionText>

原因1：Elasticsearch未运行。启动Elasticsearch服务即可解决。
原因2：数据库未配置。执行以下命令配置数据库：

sh
python registry.py pycsw -c setup_db

2. UNIQUE constraint failed: records.identifier

错误信息：

xml
<ows:ExceptionText>Transaction (insert) failed: ERROR: UNIQUE constraint failed: records.identifier.</ows:ExceptionText>

原因：记录已存在于数据库中，无法重复添加。

3. 调试单个图层的MapProxy

1. 本地安装MapProxy：

sh
pip install MapProxy==1.9.0

2. 从Registry获取YAML配置文件：

sh
curl http://localhost:8000/layer/<layer_uuid>.yml > layer.yml

3. 使用下载的配置文件启动本地MapProxy服务器（监听8080端口）：

sh
mapproxy-util serve-develop layer.yml

4. 访问MapProxy Web服务器并在终端查看日志。

对于ArcGIS服务器，确保URL路径不含?f=json，并验证图层坐标是否采用WGS84投影。

支持的功能

• 通过pycsw支持CSW-T
• 镜像信息到Elasticsearch以实现快速搜索
• 基于OpenSearch的API，支持不同字段的分面搜索（扩展CSW标准）
• MapProxy支持，便于各类资源的TMS/WMTS访问
• 多目录支持