ampathke/etl-services

ETL REST Server

镜像概述和主要用途

ETL REST Server是一个基于Node.js和https://github.com/hapijs/hapi%E6%A1%86%E6%9E%B6%E7%9A%84%E9%A1%B9%E7%9B%AE%EF%BC%8C%E7%94%A8%E4%BA%8E%E6%8F%90%E4%BE%9BREST%E7%AB%AF%E7%82%B9%E4%BB%A5%E8%AE%BF%E9%97%AE%E6%89%98%E7%AE%A1%E5%9C%A8ETL%EF%BC%88%E6%8F%90%E5%8F%96%E3%80%81%E8%BD%AC%E6%8D%A2%E3%80%81%E5%8A%A0%E8%BD%BD%EF%BC%89%E6%89%81%E5%B9%B3%E8%A1%A8%E4%B8%AD%E7%9A%84%E6%95%B0%E6%8D%AE%E3%80%82%E8%BF%99%E4%BA%9B%E6%89%81%E5%B9%B3%E8%A1%A8%E6%98%AF%E5%8C%85%E5%90%ABOpenMRS%E6%95%B0%E6%8D%AE%E7%9A%84%E6%89%81%E5%B9%B3%E5%8C%96%E8%A1%8D%E7%94%9F%E6%95%B0%E6%8D%AE%E5%BA%93%E8%A1%A8%EF%BC%8C%E6%95%B0%E6%8D%AE%E7%94%9F%E6%88%90%E9%80%9A%E8%BF%87MySQL%E5%AD%98%E5%82%A8%E8%BF%87%E7%A8%8B%E5%AE%8C%E6%88%90%EF%BC%88%E5%AD%98%E5%82%A8%E8%BF%87%E7%A8%8B%E5%8F%AF%E5%8F%82%E8%80%83https://github.com/ampath/etl%EF%BC%89%E3%80%82%E8%AF%A5%E9%A1%B9%E7%9B%AE%E7%9B%AE%E5%89%8D%E5%B7%B2%E7%94%B1https://github.com/AMPATH/ng2-amrs%E5%9C%A8%E7%94%9F%E4%BA%A7%E7%8E%AF%E5%A2%83%E4%B8%AD%E8%BF%9B%E8%A1%8C%E5%AE%9E%E6%88%98%E6%B5%8B%E8%AF%95%E3%80%82

核心功能和特性

• 基于hapi框架构建REST API端点，提供对ETL扁平表数据的访问能力
• 支持访问来自OpenMRS系统的衍生数据，数据通过MySQL存储过程生成
• 灵活的TLS配置，可启用/禁用HTTPS，启用时需提供SSL证书和私钥
• 支持MySQL连接池配置，包括连接限制、多语句执行等高级特性
• 提供完整的Docker化部署支持，包括Docker Compose集成和独立容器运行
• 支持通过环境变量自定义配置，适应不同部署环境的OpenMRS和MySQL实例

使用场景和适用范围

• 需要通过REST API访问OpenMRS ETL数据的应用系统集成
• 生产环境中需要稳定提供OpenMRS衍生数据服务的后端支撑
• 开发和测试环境中快速部署ETL数据访问服务的场景
• 需要将OpenMRS数据通过标准化API提供给第三方系统的需求

详细的使用方法和配置说明

传统部署方式

项目设置

1. 克隆项目代码库：

   bash
   $ git clone https://github.com/AMPATH/etl-rest-server.git
   $ cd etl-rest-server
   

2. 安装依赖包：

   bash
   $ npm install
   

3. 创建配置文件目录并生成配置文件：

   bash
   $ mkdir conf && cd conf
   $ cat config.json
   

4. 配置文件内容（config.json）：

   json
   {
     "openmrs": {
       "host": "OpenMRS服务器的IP或主机名",
       "port": 8080
     },
     "etl": {
       "host": "运行etl-rest-server的服务器IP或主机名",
       "port": 8002,
       "key": "TLS私钥路径",
       "cert": "TLS公钥路径",
       "tls": true
     },
     "mysql": {
       "connectionLimit": 10,
       "host": "MySQL服务器的IP或主机名",
       "port": "3306",
       "user": "<mysql用户名>",
       "password": "<mysql密码>",
       "multipleStatements": true
     }
   }
   

   配置说明：

   • openmrs：OpenMRS服务器连接信息，包括主机地址和端口
   • etl：服务自身配置，包括监听主机、端口、TLS设置及证书路径，tls设为false时无需提供密钥
   • mysql：MySQL数据库连接配置，包括连接限制、主机、端口、认证信息及多语句执行开关

5. 启动服务：

   bash
   npm start
   

6. 验证服务：访问https://<您的主机>:<您的端口>，应显示欢迎消息：Welcome to ETL reset server for OpenMRS

Docker部署方式

使用Docker Compose 1.6+

1. 启动服务：

   bash
   docker-compose up -d
   

2. 验证服务（默认使用TLS，主机端口8002）：

   bash
   curl -k https://docker:8007
   

无Docker Compose部署

构建镜像

bash
docker build -t etl .

运行容器

使用Docker MySQL

1. 首先启动MySQL容器：

   bash
   docker run -d --name mysql4etl -e MYSQL_ROOT_PASSWORD=supersecret \
     -e MYSQL_USER=etl_user -e MYSQL_PASSWORD=etl_password mysql
   

2. 场景1：OpenMRS运行在本地主机（localhost）8080端口

   bash
   docker run -d --name etl --link mysql4etl:db -p 8002:8002 etl
   

3. 场景2：OpenMRS运行在1.2.3.4主机8081端口，应用名为"omrs"

   bash
   docker run -d --name etl --link mysql4etl:db -p 8002:8002 \
     -e OPENMRS_HOST_ADDR=1.2.3.4 -e OPENMRS_NAME=omrs -e OPENMRS_PORT=8081 etl
   

使用自有MySQL服务器

若MySQL运行在1.2.3.4，用户名为"myuser"，密码为"mypassword"（默认OpenMRS在localhost:8080，如需修改可通过环境变量配置）：

bash
docker run -d --name etl \
  -e DB_PORT_3306_TCP_ADDR=1.2.3.4 -e DB_PORT_3306_TCP_PORT=3306 \
  -e MYSQL_USER=myuser -e MYSQL_PASSWORD=mypassword \
  -p 8002:8002 etl

使用自定义SSL证书

bash
docker run -d --name etl -v /path/to/keys/:/keys -p 8002:8002 etl

注意：/path/to/keys/目录需包含SSL证书文件（server.crt）和私钥文件（server.key）

CI集成设置

1. 请求将您的DockerHub账户添加到ampathke docker团队
2. 在Travis账户中激活etl-rest-server仓库
3. 在Travis的仓库设置页面配置环境变量DOCKER_PASSWORD和DOCKER_USERNAME
4. 更新本地etl-rest-server分支：git pull upstream master（CD配置已包含在master分支中）
5. 从master分支创建新分支：git checkout -b test-etl
6. 推送分支：git push origin <branchname>
7. 通过以下URL访问测试构建：https://ngx.ampath.or.ke/etl-backend/<branchname>/etl（将<branchname>替换为您的分支名）