unocha/hdx-dataproxy

Data Proxy 镜像文档

镜像概述

Data Proxy是一个Web服务，用于将数据资源（如CSV、Excel文件）转换为JSON等结构化格式。本镜像是OCHA分支版本，因联合国安全协议要求所有服务需在UN服务器运行，已修改为可独立于Google App Engine运行。

!http://packages.python.org/dataproxy/_images/data_proxy.png

核心功能和特性

支持的资源/文件类型

通过type=参数或文件扩展名指定，支持：

支持的输出格式

通过format=参数指定：

• json - JSON格式
• jsonp - JSONP格式（默认）

使用场景

适用于需要将表格数据（CSV、Excel）转换为结构化JSON数据的场景，尤其适合HDX Ckan等数据平台集成，便于数据处理和展示。

API使用方法

基本用法

DATA_PROXY_URL?url=...

参数说明

通用参数

XLS(X)专用参数

CSV专用参数

使用示例

获取整个文件的JSON格式数据

DATA_PROXY_URL?url=http://democracyfarm.org/f/ckan/foo.csv&format=json

返回结果：

json
{
  "data": [
    ["first-value", "second-value", "third-value"],
    ...
  ],
  "url": "http://democracyfarm.org/f/ckan/foo.csv",
  "fields": [
    "first-field-id",
    "second-field-id",
    ...
  ],
  "metadata": {
    "fields": [
      {
        "id": "field-name",
        "type": "type-name"
      },
      ...
    ]
  }
}

获取前3行的JSON格式数据

DATA_PROXY_URL?url=http://democracyfarm.org/f/ckan/foo.csv&max-results=3&format=json

返回结果：

json
{
  "response": [
    ["name", "type", "amount"],
    ["apple", "fruit", 10],
    ["banana", "fruit", 20]
  ],
  "max-results": 3,
  "header": {
    "url": "http://democracyfarm.org/f/ckan/foo.csv"
  }
}

错误处理

Docker部署示例

基本运行命令

bash
docker run -d -p 8080:8080 --name dataproxy docker.xuanyuan.run/dataproxy:latest

docker-compose配置

yaml
version: '3'
services:
  dataproxy:
    image: docker.xuanyuan.run/dataproxy:latest
    ports:
      - "8080:8080"
    restart: always

扩展说明

未来可能支持的功能

• 支持指定工作表中的数据范围（如range=A1:K3参数）
• 支持选择工作表中的特定行（如row=5&row_range=10:100000:5000参数）

潜在挑战

• 非文本格式数据集暂不支持
• 大型数据集处理限制（仅代理100K以内数据，需用户自行过滤）
• 高并发场景可能需要API密钥和速率限制机制以保障系统稳定