galaxyworks/pro-metering

Pro Metering 镜像文档

镜像概述和主要用途

Pro Metering 是一个专业计量服务镜像，旨在帮助服务提供商收集、处理和计算客户的存储、计算资源使用量及相关成本。该镜像支持与PostgreSQL数据库交互，提供了针对存储、计算时间、出口流量等资源的计量查询功能，并能区分特定客户群体（如Alamar用户）的使用数据，适用于客户资源使用量统计与计费场景。

核心功能和特性

• 存储计量：计算指定时间段内的存储使用量（以GB-月为单位），支持排除特定非Alamar用户数据
• 计算成本统计：汇总指定日期的计算成本，支持排除特定非Alamar用户数据
• 计算运行时间累计：统计指定时间段内的累计计算运行时间
• 出口流量计量：针对Alamar账户，统计指定时间段内的出口流量（DataTransfer-Out-Bytes和DataTransfer-Regional-Bytes）并计算成本
• 数据库交互：支持PostgreSQL数据库，提供表结构定义和查询示例

使用场景和适用范围

• 服务提供商对客户的云资源使用量进行计量与统计
• 需要区分不同客户群体（如Alamar与非Alamar用户）的资源使用数据
• 计算存储、计算和网络出口流量的使用成本，用于客户计费
• 生成资源使用量报表和成本分析

使用方法和配置说明

Docker镜像构建

从仓库根目录构建Alamar版本的镜像：

bash
docker build -t galaxyworks/pro-metering:alamar -f docker/Dockerfile .

数据库设置

为使get_usage.py脚本能成功将数据存入数据库，需先手动创建数据库、用户和表结构：

1. 创建数据库和用户

sql
postgres=# CREATE ROLE prometeringuser LOGIN;
postgres=# CREATE DATABASE prometering WITH OWNER = 'prometeringuser';
postgres=# GRANT ALL PRIVILEGES ON DATABASE prometering TO prometeringuser;

2. 连接数据库

bash
psql -U prometeringuser prometering

3. 创建表结构

sql
CREATE TABLE Customer
(
 email      text NOT NULL,
 "id"         serial NOT NULL,
 date_added date NOT NULL DEFAULT NOW(),
 CONSTRAINT PK_customer PRIMARY KEY ( "id" )
);

CREATE TABLE Storage
(
 "id"          bigserial NOT NULL,
 customer_id integer NOT NULL,
 "date"        date NOT NULL,
 bytes       bigint NOT NULL,
 CONSTRAINT PK_storage PRIMARY KEY ( "id" ),
 CONSTRAINT FK_32 FOREIGN KEY ( customer_id ) REFERENCES Customer ( "id" )
);

CREATE INDEX customer_fkIdx_s ON Storage
(
 customer_id
);

CREATE TABLE Compute
(
 "id"                 bigserial NOT NULL,
 customer_id        integer NOT NULL,
 "date"               date NOT NULL,
 total_compute_bill real NOT NULL,
 CONSTRAINT PK_compute PRIMARY KEY ( "id" ),
 CONSTRAINT FK_12 FOREIGN KEY ( customer_id ) REFERENCES Customer ( "id" )
);

CREATE INDEX customer_fkIdx_c ON Compute
(
 customer_id
);

CREATE TABLE ComputeTime
(
 "id"         bigserial NOT NULL,
 compute_id bigint NOT NULL,
 Memory     int NOT NULL,
 Runtime    bigint NOT NULL,
 Cost       real NOT NULL,
 CONSTRAINT PK_computetime PRIMARY KEY ( "id", compute_id ),
 CONSTRAINT FK_21 FOREIGN KEY ( compute_id ) REFERENCES Compute ( "id" )
);

CREATE INDEX compute_fkIdx_ct ON ComputeTime
(
 compute_id
);

数据查询示例

容器访问

进入PostgreSQL容器执行查询：

bash
psql -U prometeringuser prometering

存储计量查询

调整日期后，计算指定时间段内的存储使用量（GB-月），排除非Alamar用户：

sql
SELECT sum(bytes) / 1000000000 / 30 AS storage_gb_month FROM STORAGE WHERE date >= '2021-10-01' AND date < '2021-11-01' AND customer_id NOT IN (1, 2, 3, 13);

Alamar存储成本为$0.05/GB-月

计算成本查询

调整日期后，汇总指定日期的计算成本，排除非Alamar用户：

sql
SELECT sum(total_compute_bill) FROM compute WHERE date = '2021-10-31' AND customer_id NOT IN (1, 2, 3, 13);

计算运行时间累计查询

统计指定月份的累计计算运行时间：

sql
SELECT sum(runtime) FROM computetime WHERE compute_id IN (SELECT id FROM compute WHERE date = '2021-08-31' AND customer_id NOT IN (1, 2, 3, 13));

出口流量计量

针对Alamar账户，统计指定时间段内的出口流量（DataTransfer-Out-Bytes和DataTransfer-Regional-Bytes）并累加：

Alamar出口流量成本为$0.12/GB

非Alamar用户ID（截至2021年8月2日）

 id |         email
----+------------------------
  1 | ***
  2 | ***
  3 | ***
 13 | ***