jasei/postgres-hll Docker 镜像 - 轩辕镜像 | Docker 镜像高效稳定拉取服务

PostgreSQL with HLL Extension 镜像文档

镜像概述

本镜像基于PostgreSQL数据库，预集成了postgres-hll扩展。postgres-hll是一个开源的PostgreSQL扩展，实现了HyperLogLog算法，用于高效计算和存储大型数据集的基数（唯一值数量），在保持高精度的同时显著降低存储空间和计算资源消耗。

核心功能与特性

• 高效基数估计：通过HyperLogLog算法，以较小的存储空间（通常每个集合几KB）实现对海量数据的唯一值数量估算，误差率可控制在1-2%以内
• 原生PostgreSQL集成：作为PostgreSQL扩展，支持标准SQL语法调用，可与现有数据库架构无缝集成
• 低资源消耗：相比传统COUNT(DISTINCT)操作，显著降低内存占用和计算时间，尤其适合大数据量场景
• 支持增量更新：可通过hll_add_agg等函数实现基数的增量计算和合并

使用场景与适用范围

• 用户行为分析：统计网站/应用的独立访客数（UV）、独立设备数等
• 日志分析：计算不同IP、用户ID、事件类型的唯一出现次数
• 大数据集合基数统计：如电商平台商品浏览量去重、广告曝光量统计等
• 实时数据处理：对高吞吐量数据流进行实时基数监控和分析

使用方法与配置说明

基本使用（Docker Run）

bash
# 拉取镜像（假设镜像名称为postgres-hll）
docker pull postgres-hll

# 运行容器
docker run -d \
  --name postgres-hll-instance \
  -e POSTGRES_PASSWORD=your_password \
  -e POSTGRES_USER=your_user \
  -e POSTGRES_DB=your_db \
  -p 5432:5432 \
  postgres-hll

启用HLL扩展

容器启动后，通过psql连接数据库并启用扩展：

sql
-- 连接数据库
psql -h localhost -U your_user -d your_db

-- 启用hll扩展
CREATE EXTENSION hll;

HLL功能示例

sql
-- 创建测试表
CREATE TABLE user_visits (
  id SERIAL PRIMARY KEY,
  user_id INT,
  visit_time TIMESTAMP
);

-- 插入测试数据
INSERT INTO user_visits (user_id, visit_time) 
VALUES (1, NOW()), (2, NOW()), (1, NOW() + INTERVAL '1 hour'), (3, NOW());

-- 使用hll计算唯一用户数（基数）
SELECT hll_cardinality(hll_add_agg(hll_hash_integer(user_id))) AS unique_users 
FROM user_visits;
-- 结果应为3（用户1、2、3）

环境变量配置

支持PostgreSQL官方镜像的所有标准环境变量，主要包括：

• POSTGRES_PASSWORD：数据库超级用户密码（必填）
• POSTGRES_USER：数据库超级用户名（默认：postgres）
• POSTGRES_DB：初始化的数据库名称（默认与POSTGRES_USER相同）
• PGDATA：PostgreSQL数据存储路径（默认：/var/lib/postgresql/data）

Docker Compose配置示例

yaml
version: '3.8'
services:
  postgres-hll:
    image: postgres-hll
    container_name: postgres-hll
    environment:
      POSTGRES_PASSWORD: secure_password
      POSTGRES_USER: app_user
      POSTGRES_DB: analytics_db
    ports:
      - "5432:5432"
    volumes:
      - postgres_data:/var/lib/postgresql/data
    restart: unless-stopped

volumes:
  postgres_data:

扩展信息

• 扩展项目地址：postgres-hll GitHub
• 支持的PostgreSQL版本：根据镜像标签确定，通常支持PostgreSQL 10+
• 详细函数文档：可参考官方文档