clever/kinesis-to-firehose

clever/kinesis-to-firehose镜像说明

镜像概述

clever/kinesis-to-firehose是一款针对AWS云服务的数据传输工具镜像，核心作用是连接Kinesis流与Firehose交付流，完成数据的实时消费与转发，助力用户构建高效的云原生数据处理链路。

核心功能

• 实时消费指定AWS Kinesis流中的数据记录
• 将消费数据可靠写入目标AWS Firehose交付流
• 兼容常见数据格式（如JSON、CSV）的基础处理

使用场景

• 日志数据从Kinesis采集后通过Firehose存储至S3/Redshift等目标
• 实时业务数据中转，支持后续分析或批量处理需求
• 构建无服务器数据管道，降低运维成本

配置说明

需通过环境变量配置关键参数：

• KINESIS_STREAM_NAME: 待消费的Kinesis流名称
• FIREHOSE_DELIVERY_STREAM_NAME: 目标Firehose交付流名称
• AWS_REGION: AWS服务区域（如cn-north-1）
• AWS_ACCESS_KEY_ID: 具备Kinesis读取、Firehose写入权限的访问密钥ID
• AWS_SECRET_ACCESS_KEY: 对应访问密钥的秘密值

部署示例

Docker Run命令

bash
docker run -d \
  -e KINESIS_STREAM_NAME=my-kinesis-stream \
  -e FIREHOSE_DELIVERY_STREAM_NAME=my-firehose-stream \
  -e AWS_REGION=cn-north-1 \
  -e AWS_ACCESS_KEY_ID=your-access-key \
  -e AWS_SECRET_ACCESS_KEY=your-secret-key \
  clever/kinesis-to-firehose

Docker Compose配置

yaml
version: '3.8'
services:
  data-bridge:
    image: clever/kinesis-to-firehose
    environment:
      KINESIS_STREAM_NAME: "user-behavior-stream"
      FIREHOSE_DELIVERY_STREAM_NAME: "behavior-data-firehose"
      AWS_REGION: "cn-north-1"
      AWS_ACCESS_KEY_ID: "${AWS_ACCESS_KEY_ID}"
      AWS_SECRET_ACCESS_KEY: "${AWS_SECRET_ACCESS_KEY}"
    restart: always