Apache Pinot 镜像文档

概述

Apache Pinot是一个实时分布式OLAP（在线分析处理）数据存储，专为提供可扩展的实时分析而构建，具有低延迟特性。它能够从批处理数据源（如Hadoop HDFS、Amazon S3、Azure ADLS、Google Cloud Storage）和流数据源（如Apache Kafka）摄入数据。Pinot由LinkedIn和Uber的工程师开发，设计目标是实现无上限的横向和纵向扩展，且性能基于集群规模和预期查询每秒（QPS）阈值保持稳定。

核心功能与特性

核心能力

• 列存储架构：采用列导向存储，支持多种压缩方案（如游程编码、固定位长压缩），优化存储效率和查询性能。
• 可插拔索引：支持多种索引技术，包括排序索引、位图索引、倒排索引，可根据查询需求灵活配置（详见索引文档）。
• 查询优化：基于查询和段元数据优化查询执行计划，提升查询效率。
• 流批一体摄入：支持近实时从流数据源摄入数据，同时支持从Hadoop等批处理数据源批量摄入。
• SQL查询支持：提供类SQL语言，支持选择、聚合、过滤、分组、排序、去重等查询操作。
• 实时摄入时更新：支持大规模数据更新，保证一致性。
• 多值字段支持：支持多值字段查询，可将字段作为逗号分隔值进行查询。
• Kubernetes云原生：提供Helm Chart，支持在Kubernetes上实现横向扩展、容错的集群部署，易于管理。

使用场景与适用范围

适用场景

Pinot适用于需要对海量数据和事件执行实时OLAP查询的场景，要求低延迟和高吞吐量。除实时流数据摄入外，它同样支持批处理场景，且保持低延迟特性。特别适合以下场景：

• 对不可变数据进行快速分析（如聚合操作）
• 实时数据摄入与分析
• 包含大量维度和指标的时间序列数据查询

典型查询示例

sql
SELECT sum(clicks), sum(impressions) FROM AdAnalyticsTable
  WHERE
       ((daysSinceEpoch >= *** AND daysSinceEpoch <= ***)) AND
       accountId IN (***)
  GROUP BY
       daysSinceEpoch TOP 100

不适用场景

• 作为"真相源"存储（无法作为主要数据存储）
• 数据频繁修改场景（不支持频繁突变数据）
• 全文搜索引擎（尽管支持文本搜索，但非主要设计目标）
• 跨表查询（默认不支持，可通过Trino-Pinot连接器或Presto-Pinot连接器实现）

使用方法与部署指南

本地构建与快速演示

详细步骤参见快速演示文档：

bash
# 克隆仓库
git clone [***]
cd pinot

# 构建Pinot（跳过测试，使用二进制分发包配置）
mvn clean install -DskipTests -Pbin-dist

# 运行快速演示（批处理模式）
cd build/
bin/quick-start-batch.sh

Kubernetes部署

Pinot提供Kubernetes集成，支持与交互式查询引擎（Trino、Presto）和数据可视化工具（Apache Superset）集成。部署指南参见Kubernetes快速入门，主要通过Helm Chart实现集群部署。

社区与支持

• Slack：加入Apache Pinot Slack社区
• 邮件列表：
  • 订阅开发邮件列表：***
  • 发送邮件至开发列表：***
  • 订阅用户邮件列表：***
  • 发送邮件至用户列表：***
• Meetup：Apache Pinot Meetup Group

文档与资源

完整文档参见Pinot***文档，主要包括：

• 快速入门
• Pinot架构
• Pinot查询语言

许可证

Apache Pinot基于Apache License, Version 2.0许可发布。