jrembold/web2db

数据抓取与JSON存储Docker镜像

镜像概述

该Docker镜像专注于数据采集与存储场景，提供从网站或API抓取数据、处理原始JSON格式数据，并将其自动存入数据库的一体化解决方案。通过简化数据流转链路，实现从数据源（网站/API）到数据存储（数据库）的无缝衔接，适用于各类自动化数据采集需求。

核心功能与特性

• 多源数据抓取：支持从标准网站（HTML/动态内容）及RESTful API接口获取数据，适配不同数据源类型。
• 原始JSON处理：保留抓取数据的原始JSON格式，避免数据结构转换导致的信息丢失，确保数据完整性。
• 数据库集成：内置数据库连接模块，支持主流关系型数据库（如MySQL、PostgreSQL）及部分NoSQL数据库（如MongoDB），实现数据直接写入。
• 轻量级部署：基于精简基础镜像构建，资源占用低，支持容器化快速部署与扩展。
• 配置驱动：通过环境变量或配置文件灵活定义抓取规则、目标数据源及数据库连接参数，适配多样化场景。

使用场景

• 数据采集项目：为数据分析、机器学习等场景提供原始数据输入，自动化采集目标网站/API数据。
• API数据备份：定期抓取第三方API数据并存储，防止接口数据变更或访问限制导致的数据丢失。
• 自动化数据同步：实现跨系统数据同步，如将前端网站数据或业务API数据同步至后端数据库。
• 数据监控前置：作为数据监控系统的前置模块，持续抓取目标数据源并存储，为监控分析提供数据基础。

使用方法与配置说明

基本使用命令

通过docker run快速启动容器，需配置数据源、数据库连接等核心参数：

bash
docker run -d \
  --name data-grabber \
  -e TARGET_URL="https://api.example.com/data" \  # 目标网站/API URL
  -e DB_TYPE="mysql" \                           # 数据库类型（支持mysql/postgresql/mongodb等）
  -e DB_HOST="db-host" \                         # 数据库主机地址
  -e DB_PORT="3306" \                            # 数据库端口
  -e DB_USER="user" \                            # 数据库用户名
  -e DB_PASSWORD="password" \                    # 数据库密码
  -e DB_NAME="data_db" \                         # 目标数据库名称
  -e COLLECTION_INTERVAL="3600" \                # 抓取间隔（秒，默认3600）
  your-image-name:latest

核心配置参数

高级配置

• 自定义抓取规则：通过挂载配置文件（如/app/config/grabber.json）定义更复杂的抓取逻辑，支持CSS选择器（网站）或JSONPath（API）定位目标数据。
• 数据库表结构：默认自动创建raw_json_data表（含id、data、created_at字段），如需自定义表名或结构，可通过DB_TABLE环境变量指定。
• 错误重试机制：内置失败重试逻辑，可通过RETRY_COUNT（默认3次）和RETRY_DELAY（默认5秒）环境变量调整。

注意事项

• 确保目标网站/API允许抓取（遵守robots.txt协议及服务条款）。
• 数据库需提前创建，镜像仅负责数据写入，不自动初始化数据库实例。
• 高频率抓取可能触发目标服务器限制，建议合理设置COLLECTION_INTERVAL。