axiom/gdam

Glider Database Alternative - Mongo (GDAM)

https://travis-ci.org/SECOORA/GDAM.svg?branch=master](https://travis-ci.org/SECOORA/GDAM)

GDAM可监控目录中的新db飞行/科学文件，将数据插入MongoDB实例，并将数据发布到ZeroMQ套接字。它包含命令行工具，可监听ZeroMQ套接字并写入netCDF文件，以及监听新netCDF文件并上传至FTP服务器的工具。

安装

通过conda安装，要求Python 3.5及以上版本：

$ conda create -n sgs python=3.5
$ source activate sgs
$ conda install -c axiom-data-science gdam

gdam-cli

CLI

bash
$ gdam-cli --help

可通过命令行参数或环境变量指定ZeroMQ套接字和MongoDB连接：

默认配置

bash
$ gdam-cli
Watching /data
Inserting into mongodb://localhost:27017
Publishing to tcp://127.0.0.1:44444

命令行参数

bash
$ gdam-cli --data_path /data --zmq_url tcp://127.0.0.1:44444 --mongo_url mongodb://localhost:27017
Watching /data
Inserting into mongodb://localhost:27017
Publishing to tcp://127.0.0.1:44444

环境变量

bash
$ export ZMQ_URL="tcp://127.0.0.1:44444"
$ export MONGO_URL="mongodb://localhost:27017"
$ export GDB_DATA_DIR="/data"
$ gdam-cli
Watching /data
Inserting into mongodb://localhost:27017
Publishing to tcp://127.0.0.1:44444

混合使用

bash
$ ZMQ_URL="tcp://127.0.0.1:44444" MONGO_URL="mongodb://localhost:27017" gdam-cli --data_path /data
Watching /data
Inserting into mongodb://localhost:27017
Publishing to tcp://127.0.0.1:44444

Docker

镜像内部使用gdam-cli，运行时可设置ZMQ_URL和MONGO_URL环境变量：

bash
$ docker run -it \
    --name sgs-gdam \
    -e "ZMQ_URL=tcp://127.0.0.1:44444" \
    -e "MONGO_URL=mongodb://localhost:27017" \
    -e "RUN_GDAM=yes" \
    axiom/gdam
Watching /data
Inserting into mongodb://localhost:27017
Publishing to tcp://127.0.0.1:44444

gdam2nc

CLI

bash
$ gdam2nc --help

可通过命令行参数或环境变量指定ZeroMQ套接字：

bash
$ gdam2nc --zmq_url tcp://127.0.0.1:44444 --configs /config --output /output
Loading configuration from /config
Listening to tcp://127.0.0.1:44444
Saving to /output

环境变量

bash
$ export ZMQ_URL="tcp://127.0.0.1:44444"
$ export GDAM2NC_CONFIG="/config"
$ export GDAM2NC_OUTPUT="/output"
$ gdam2nc
Loading configuration from /config
Listening to tcp://127.0.0.1:44444
Saving to /output

Docker

镜像内部使用gdam2nc，运行时需挂载配置和输出目录：

bash
$ docker run -it \
    --name sgs-gdam2nc \
    -v /my/config:/config:ro \
    -v /my/output:/output \
    -e "ZMQ_URL=tcp://127.0.0.1:44444" \
    -e "RUN_GDAM2NC=yes" \
    axiom/gdam
Loading configuration from /config
Listening to tcp://127.0.0.1:44444
Saving to /output

nc2ftp

CLI

bash
$ nc2ftp --help

可通过命令行参数或环境变量指定输出目录和FTP凭据：

bash
$ nc2ftp -i /output --ftp_url ftp.ioos.us --ftp_user youruser --ftp_pass yourpass
Watching /output
Uploading to ftp.ioos.us

环境变量

bash
$ export NC2FTPURL="ftp.ioos.us"
$ export NC2FTPUSER="youruser"
$ export NC2FTPPASS="yourpass"
$ nc2ftp
Watching /output
Uploading to ftp.ioos.us

Docker

镜像内部使用nc2ftp，运行时需挂载输出目录并设置FTP凭据：

bash
$ docker run -it \
    --name sgs-nc2ftp \
    -v /my/output:/output:ro \
    -e "NC2FTPURL=ftp.ioos.us" \
    -e "NC2FTPUSER=youruser" \
    -e "NC2FTPPASS=yourpass" \
    -e "RUN_NC2FTP=yes" \
    axiom/gdam
Watching /output
Uploading to ftp.ioos.us

SECOORA滑翔机系统（SGS）

该包是SECOORA滑翔机系统的一部分，最初由南佛罗里达大学CMS海洋技术组开发，现由SECOORA和Axiom Data Science维护。相关工具包括：

• https://github.com/axiom-data-science/GUTILS%EF%BC%9A%E6%BB%91%E7%BF%94%E6%9C%BA%E6%95%B0%E6%8D%AE%E5%90%8E%E5%A4%84%E7%90%86Python%E5%B7%A5%E5%85%B7%E9%9B%86
• https://github.com/axiom-data-science/GSPS%EF%BC%9A%E7%9B%91%E6%8E%A7%E7%9B%AE%E5%BD%95%E4%B8%AD%E7%9A%84db%E6%96%87%E4%BB%B6%E5%B9%B6%E5%8F%91%E5%B8%83%E5%88%B0ZeroMQ
• https://github.com/axiom-data-science/GDAM%EF%BC%9A%E7%9B%91%E6%8E%A7%E7%9B%AE%E5%BD%95%E4%B8%AD%E7%9A%84db%E6%96%87%E4%BB%B6%EF%BC%8C%E6%8F%92%E5%85%A5MongoDB%E5%B9%B6%E5%8F%91%E5%B8%83%E5%88%B0ZeroMQ