opencadc/dao2caom2 Docker 镜像 - 轩辕镜像 | Docker 镜像高效稳定拉取服务

dao2caom2

镜像概述和主要用途

dao2caom2是一个从DAO FITS文件生成CAOM2观测数据的应用程序。它能够处理天文观测产生的DAO FITS格式文件，提取元数据并生成符合CAOM2（Canadian Astronomy Data Centre Observation Model 2）标准的观测记录，便于天文数据的管理、共享和分析。

核心功能和特性

• 从DAO FITS文件提取元数据并生成CAOM2观测数据
• 支持CADC（加拿大天文数据中心）服务的凭据认证（通过netrc文件）
• 提供可配置的运行参数（通过config.yml文件）
• 支持常规运行和定时任务（cron job）运行模式
• 包含调试功能，支持在容器内直接运行命令进行问题排查

使用场景和适用范围

• 天文观测数据处理：适用于需要将DAO（Dominion Astrophysical Observatory）生成的FITS格式观测数据转换为CAOM2标准格式的场景
• 数据中心数据管理：帮助CADC或其他天文数据中心标准化观测数据格式
• 定期数据处理：可通过cron任务定期处理新增的DAO FITS文件，实现自动化数据转换

详细使用方法和配置说明

环境要求

• Linux操作系统
• 已安装Docker

常规运行步骤

1. 准备工作目录

在本地创建一个空目录作为工作目录（以下简称“工作目录”）。

2. 设置凭据（netrc文件）

由于CADC主机当前不支持代理证书，需通过netrc文件进行认证：

1. 在工作目录中创建名为netrc的文件，内容如下：

   machine [***] login canfarusername password canfarpassword
   machine [***] login canfarusername password canfarpassword
   machine sc2.canfar.net login canfarusername password canfarpassword
   machine ws-cadc.canfar.net login canfarusername password canfarpassword
   

2. 将canfarusername和canfarpassword替换为实际的CADC用户名和密码

3. 设置文件权限为600（仅所有者可读写）：

   bash
   chmod 600 netrc
   

   注意：可通过修改config.yml文件中的netrc_filename条目（需提供绝对路径）更改此文件的名称和位置。netrc文件详细说明参见：netrc手册

3. 获取运行脚本

从GitHub仓库复制dao_run.sh脚本到工作目录：

bash
wget [***]

4. 设置脚本可执行权限

bash
chmod +x dao_run.sh

5. 运行应用程序

bash
./dao_run.sh

6. 配置文件说明

运行后，工作目录会生成config.yml文件，用于控制应用程序执行参数。配置项说明参见：config.yml文档

7. 容器内调试

如需在容器内调试，可执行以下命令：

bash
docker run --rm -ti -v ${PWD}:/usr/src/app --name dao_run opencadc/dao2caom2 /bin/bash
root@容器ID:/usr/src/app# dao_run

定时任务（cron job）运行步骤

1. 准备工作目录

同常规运行步骤，创建空的工作目录。

2. 获取定时任务脚本

复制dao_run_state.sh脚本到工作目录：

bash
wget [***]

3. 设置脚本可执行权限

bash
chmod +x dao_run_state.sh

4. 运行定时任务脚本

bash
./dao_run_state.sh

注意：daoFileIngest传输脚本会自动判断文件是否需要压缩后存储到CADC。

测试文件说明

当前活动仪器/探测器（DAO集合）

忽略静态的"DAOPLATES"集合，以下为当前活动的仪器/探测器测试文件（文件名中的'c'表示CCD探测器）：

1.2米McKellar光谱仪

• dao_c122_2017_011124.fits - 科学观测
• dao_c122_2017_011118.fits - 比较弧光
• dao_c122_2017_011111.fits - 偏置
• dao_c122_2017_011095.fits - 平场
• dao_c122_2017_007425.fits - 暗场

1.8米卡塞格林光谱仪

• dao_c182_2017_010923.fits - 科学观测
• dao_c182_2017_010924.fits - 比较弧光
• dao_c182_2017_010870.fits - 偏置
• dao_c182_2017_010896.fits - 平场
• dao_c182_2017_007397.fits - 暗场

1.8米卡塞格林分光偏振计

• dao_c182_2017_019323.fits - 科学观测
• dao_c182_2017_019322.fits - 比较弧光
• dao_c182_2017_019238.fits - 偏置
• dao_c182_2017_019030.fits - 平场
• dao_c182_2017_003051.fits - 暗场

1.8米牛顿成像仪

• dao_c182_2017_016292.fits - 科学观测
• dao_c182_2017_016319.fits - 平场
• dao_c182_2017_016254.fits - 偏置
• dao_c182_2017_009814.fits - 暗场

Reticon探测器旧数据

文件名中的'r'表示Reticon探测器，目前文件数量有限，原始头信息较少：

1.2米光谱

• dao_r122_1989_003112.fits - 科学目标
• dao_r122_1989_003115.fits - 平场
• dao_r122_1989_003111.fits - 比较弧光
• dao_r122_1989_003184.fits - 暗场

1.8米光谱

• dao_r182_1989_000369.fits - 科学目标
• dao_r182_1989_000372.fits - 比较弧光
• dao_r182_1989_000377.fits - 暗场
• dao_r182_1989_000481.fits - 平场

处理后数据（实验性，数量有限）

里程计编号后的任何后缀表示处理后文件：

光谱

• dao_c122_2007_000882_v.fits - 处理后的科学观测（后缀'_v'）
  • 对应未处理观测文件：dao_c122_2007_000882.fits
• dao_c122_2007_000881_e.fits - 处理后的弧光（后缀'_e'）
  • 对应未处理弧光文件：dao_c122_2007_000881.fits
• dao_c122_2007_000916_F.fits - 合并处理后的平场（后缀'_F'）
  • 成员文件：dao_c122_2007_000916.fits至dao_c122_2007_000926.fits
• dao_c122_2016_012652_B.fits - 合并处理后的偏置（后缀'_B'）
  • 成员文件：dao_c122_2016_012652.fits至012666及dao_c122_2016_012726至012741.fits

图像

• dao_c182_2016_004034_a.fits - 处理后的科学观测（后缀'_a'）
  • 对应未处理观测文件：dao_c182_2016_004034.fits
• dao_c182_2016_008332_B.fits - 合并处理后的偏置（后缀'_B'）
  • 成员文件：dao_c182_2016_008332.fits至dao_c182_2016_008347.fits
• dao_c182_2016_002019_F.fits - 合并处理后的平场（后缀'_F'）
  • 成员文件：dao_c182_2016_002019至dao_c182_2016_002031.fits

参考链接

• 容器使用帮助：Docker and Collections
• 应用背景说明：collection2caom2