odpf/firehose

Firehose

Firehose是一个云原生服务，用于将实时流数据传递到各种目标，如服务端点（HTTP或GRPC）和托管数据库（Postgres、InfluxDB、Redis和Elasticsearch）。使用Firehose，您无需编写应用程序或管理资源，它可以根据数据吞吐量进行扩展。如果您的数据存在于Kafka中，Firehose会将其传递到您指定的目标（SINK）。

核心功能和特性

发现用户选择Firehose作为主要Kafka消费者的原因：

• 接收器（Sinks）：Firehose支持将流数据发送到日志控制台、HTTP、GRPC、PostgresDB（JDBC）、InfluxDB、Elasticsearch和Redis。
• 扩展性：Firehose可立即进行垂直和水平扩展，实现高性能流接收器和零数据丢失。
• 可扩展性：通过明确定义的接口添加自己的接收器，或从已提供的接收器中选择。
• 运行时：Firehose可以在VM或容器中运行，也可在Kubernetes等完全托管的运行时环境中运行。
• 指标：通过内置的吞吐量、响应时间、错误等监控，随时了解部署情况。

使用场景和适用范围

Firehose适用于需要将Kafka中的实时流数据可靠地传输到各种目标系统的场景，包括：

• 实时数据处理和分析
• 数据集成和ETL流程
• 实时监控和告警系统
• 微服务间的事件驱动通信

使用方法和配置说明

Docker运行

使用Docker Hub下载Firehose镜像。您的系统需要安装Docker。

bash
$ docker pull odpf/firehose
# 运行以下Docker命令以使用简单的日志接收器
$ docker run -e SOURCE_KAFKA_BROKERS=127.0.0.1:6667 -e SOURCE_KAFKA_CONSUMER_GROUP_ID=kafka-consumer-group-id -e SOURCE_KAFKA_TOPIC=sample-topic -e SINK_TYPE=log -e SOURCE_KAFKA_CONSUMER_CONFIG_AUTO_OFFSET_RESET=latest -e PROTO_SCHEMA=com.github.firehose.sampleLogProto.SampleLogMessage odpf/firehose:latest

注意：确保您的protos（.jar文件）位于work-dir中，这是过滤器功能正常工作所必需的。

Kubernetes运行

• 使用可用的helm chart创建firehose部署：https://github.com/odpf/charts/tree/main/stable/firehose
• 部署还包括telegraf容器，用于推送统计指标

本地运行

sh
$ git clone https://github.com/odpf/firehose.git  # 克隆仓库
$ ./gradlew clean build # 构建jar
$ cat env/local.properties # 配置环境变量
$ ./gradlew runConsumer # 运行firehose

注意：其他接收器的示例配置以及一些高级配置可在此处找到：配置文档

运行测试

sh
# 运行单元测试
./gradlew test

# 运行代码质量检查
./gradlew checkstyleMain checkstyleTest

# 清理构建
./gradlew clean

环境变量配置

Firehose主要通过环境变量进行配置，关键配置参数包括：

• SOURCE_KAFKA_BROKERS: Kafka brokers地址
• SOURCE_KAFKA_CONSUMER_GROUP_ID: Kafka消费者组ID
• SOURCE_KAFKA_TOPIC: 要消费的Kafka主题
• SINK_TYPE: 接收器类型（log, http, grpc, postgres, influxdb, elasticsearch, redis）
• SOURCE_KAFKA_CONSUMER_CONFIG_AUTO_OFFSET_RESET: Kafka消费者偏移量重置策略
• PROTO_SCHEMA: 协议缓冲区模式

资源和文档

• 指南：提供有关使用不同接收器创建Firehose的指导
• 概念：描述所有重要的Firehose概念
• 参考：包含有关Firehose的配置、指标和其他方面的详细信息
• 贡献：包含想要为Firehose做贡献的任何人的资源

贡献

Firehose的开发在GitHub上公开进行，我们感谢社区贡献错误修复和改进。阅读以下内容，了解如何参与改进Firehose。

阅读我们的贡献指南，了解我们的开发过程、如何提出错误修复和改进，以及如何构建和测试您对Firehose的更改。

为了帮助您入门并熟悉我们的贡献流程，我们有一系列https://github.com/odpf/firehose/labels/good%20first%20issue%EF%BC%8C%E5%85%B6%E4%B8%AD%E5%8C%85%E5%90%AB%E8%8C%83%E5%9B%B4%E7%9B%B8%E5%AF%B9%E6%9C%89%E9%99%90%E7%9A%84%E9%94%99%E8%AF%AF%E3%80%82%E8%BF%99%E6%98%AF%E4%B8%80%E4%B8%AA%E5%BE%88%E5%A5%BD%E7%9A%84%E8%B5%B7%E7%82%B9%E3%80%82

许可证

Firehose采用Apache 2.0许可证。