texastribune/emissions-database

排放事件数据库镜像

概述

该镜像提供了用于抓取多个环境数据库的工具，主要针对德克萨斯州环境质量委员会(TCEQ)的公开数据资源，能够自动收集、处理和存储排放事件相关信息。

支持的数据库

• 空气排放事件报告数据库
• 中央登记处查询 - 受监管实体搜索
• 委员会发布的命令

核心功能

• 批量下载排放事件数据
• 自动更新最新排放事件信息
• 定期更新受监管实体信息
• 下载与受监管实体相关的发布命令
• 数据存储到PostgreSQL数据库

排放事件类型

目前专注于以下排放事件类型：

• air-shutdown（空气系统关闭）
• air-startup（空气系统启动）
• emissions-event（排放事件）
• emissions-event-emergency-resp（排放事件-应急响应）
• excess-opacity（过度不透明度）
• maintenance（维护）

使用方法

环境要求

• Python环境
• PostgreSQL数据库
• 相关依赖包

环境变量配置

bash
export EMISSIONS_DATABASE="postgres://用户名@主机:端口/数据库名"

主要命令

通过以下命令执行不同功能：

bash
python emission_events/manage.py COMMAND

其中COMMAND可以是：

• downloadbatch - 下载一批排放事件，需使用--initial参数
• updateemissions - 从数据库中最后一条记录开始下载100条排放事件。若每日运行此命令，可保持数据最新
• updateregulatedentities - 更新受监管实体信息（此类信息不会频繁变更）
• downloadissuedorders - 为数据库中的每个受监管实体下载发布的命令

数据库操作

连接数据库

bash
psql -h 127.0.0.1 -U postgres -p 5433

备份数据库

bash
pg_dump -h 127.0.0.1 -U postgres -p 5433 emissions_project > database.sql

恢复数据库

bash
psql emission_events < database.sql

快速备份

bash
export EMISSIONS_DATABASE=postgres://malev@localhost/emission_events
phd pg_dump > marcosdb-today.sql

Docker部署

构建镜像

bash
docker build -t emissions .

运行容器

bash
EMISSIONS_DATABASE=postgres://malev@localhost:5433/emission_events\
docker run -e EMISSIONS_DATABASE --rm emissions

参考资料

• [***]
• [***]
• [***]
• [***]
• [***]
• [***]
• [***]
• [***]
• [***]