unocha/hdx-scraper-baseimage

hdx-scraper-baseimage

镜像概述

hdx-scraper-baseimage是一个基于unocha/hdx-pandas-baseimage:stable构建的Docker镜像，提供了适用于运行HDX（Humanitarian Data Exchange）相关数据抓取工具的Python 3环境。该镜像旨在为各类HDX数据抓取项目提供统一、稳定的运行基础。

核心功能与特性

• 稳定基础镜像：构建于unocha/hdx-pandas-baseimage:stable，确保底层环境的可靠性和兼容性
• Python 3环境：内置Python 3运行环境，满足数据抓取工具的开发与运行需求
• 专用适配性：专门优化用于运行HDX生态系统中的数据抓取项目，包括但不限于：
  • https://github.com/OCHA-DAP/hdxscraper-fts
  • https://github.com/OCHA-DAP/hdxscraper-acled
  • https://github.com/OCHA-DAP/hdxscraper-unesco

使用场景与适用范围

适用于需要开发、测试或部署HDX数据抓取工具的场景，特别适合OCHA-DAP（联合国人道主义事务协调厅数据与分析中心）维护的各类数据抓取项目，为其提供一致的运行环境，简化项目部署和维护流程。

使用方法与配置说明

基础使用流程

1. 拉取镜像

bash
docker pull unocha/hdx-scraper-baseimage:stable

2. 运行容器

将本地抓取项目代码挂载到容器中运行：

bash
docker run -v /本地项目路径:/app unocha/hdx-scraper-baseimage:stable python /app/抓取脚本.py

项目集成示例

在HDX数据抓取项目的Dockerfile中使用该基础镜像：

dockerfile
# 基于hdx-scraper-baseimage构建
FROM unocha/hdx-scraper-baseimage:stable

# 复制项目代码到容器
COPY . /app

# 安装项目特定依赖（如需要）
RUN pip install -r /app/requirements.txt

# 设置工作目录
WORKDIR /app

# 定义默认运行命令
CMD ["python", "main_scraper.py"]

docker-compose配置示例

yaml
version: '3'
services:
  hdx-scraper:
    image: unocha/hdx-scraper-baseimage:stable
    volumes:
      - ./scraper-code:/app
    command: python /app/scraper.py
    environment:
      - HDX_API_KEY=your_api_key
      - LOG_LEVEL=INFO