databrewllc/odk-form-extraction Docker 镜像 - 轩辕镜像 | Docker 镜像高效稳定拉取服务

ODK Forms Extraction

镜像概述

ODK Forms Extraction是一个微服务，用于从选定项目中提取表单数据并存储到S3。该服务默认以databrew.org为服务器，通过配置文件管理项目索引，支持Docker化部署，适用于需要自动化提取和存储ODK表单数据的场景。

核心功能与特性

• 表单提取与存储：从指定项目中提取表单数据并存储到S3
• 项目索引管理：通过配置文件（config.yml）灵活添加和管理项目
• 环境依赖管理：使用R renv进行R环境的依赖管理和版本控制
• Docker化部署：支持Docker构建和本地测试，便于环境一致性
• 云集成：支持AWS认证和S3存储，可通过环境变量配置访问凭证

使用场景与适用范围

适用于需要定期从ODK Collect项目中提取表单数据并进行云端存储的场景，如数据收集项目、调查数据管理、研究数据采集等，尤其适合需要自动化数据流水线的团队或组织。

使用方法与配置说明

1. 项目贡献指南

克隆仓库

zsh
git clone [***]

创建新分支

zsh
git checkout -b feature_branch
git push origin feature_branch

索引新项目

通过修改config.yml文件添加新项目，在配置文件中追加以下内容：

yaml
    - name: [ODK COLLECT中的新项目名称]
      bucket_name: [目标S3桶名称]
      folder_name: [存储文件夹名称]

复现分析环境

项目使用R renv管理依赖，执行以下步骤配置环境：

1. 进入项目目录：

zsh
cd ..relative_path/odk-form-extraction

2. 在R环境中运行以下命令：

r
install.packages("renv")
renv::init(bare=TRUE)
renv::restore()

3. 添加新R包时，需更新依赖锁文件：

r
install.packages('新包名称')
renv::snapshot()

2. Docker使用指南

前置要求

• 安装Docker Desktop

构建Docker镜像

zsh
docker build -t odk-form-extraction .

本地测试Docker镜像

基础测试：

zsh
docker run odk-form-extraction

带认证环境变量的测试（AWS和ODK认证）：

zsh
docker run \
-e AWS_ACCESS_KEY=... \ 
-e AWS_SECRET_ACCESS_KEY=... \
-e AWS_SESSION_TOKEN=... \
-e AWS_REGION='us-east-1' \
-e ODK_CREDENTIALS_SECRETS_NAME='test/odk-credentials' \
odk-form-extraction

3. 推送到Dockerhub

将代码推送到Github远程主分支，通过Github Actions自动完成CI/CD流程：

zsh
git push

镜像将发布到Dockerhub，地址为：databrewllc/odk-form-extraction