streamthoughts/kafka-connect-file-pulse

Kafka Connect File Pulse Docker镜像

概述

Kafka Connect File Pulse是一个多功能、可扩展且可靠的Kafka Connector，旨在简化各种格式文件的解析、转换和流式传输到Apache Kafka的过程。该Docker镜像封装了这一工具，支持从本地文件系统、Amazon S3、Azure Storage和Google Cloud Storage等多种存储系统读取文件。

核心功能与特性

• 多源文件读取：支持从本地文件系统、Amazon S3、Azure Storage和Google Cloud Storage读取文件
• 递归目录扫描：可递归扫描本地目录中的文件
• 多格式支持：兼容CSV、JSON、AVRO、XML等多种文件格式
• 灵活的数据处理：支持Grok表达式解析，提供内置或自定义处理过滤器用于数据转换
• 错误处理机制：允许定义错误处理策略
• 实时文件监控：监控文件写入过程，确保数据完整传输
• 文件清理策略：支持可插拔的已完成文件清理策略

使用场景

适用于企业级数据集成场景，特别是需要从遗留系统通过文件进行数据导出、共享和集成的场景。可帮助构建以Apache Kafka为中心的可扩展数据streaming平台，简化复杂的数据集成流程，替代传统的硬编码数据处理方案。

使用方法

获取镜像

该镜像可从Docker Hub获取：

bash
docker pull streamthoughts/kafka-connect-file-pulse:latest

部署示例

作为Kafka Connect组件，通常需与Kafka集群配合部署。典型部署方式是作为Kafka Connect worker的一部分运行，具体部署步骤建议参考https://streamthoughts.github.io/kafka-connect-file-pulse/docs/getting-started/%E3%80%82

配置说明

配置通过Kafka Connect的connector配置文件进行，主要配置项包括：

• 文件源配置（如存储系统类型、路径、访问凭证等）
• 解析器配置（文件格式、字段分隔符、编码等）
• 过滤器链配置（数据转换规则）
• 目标Kafka主题配置
• 错误处理策略
• 文件清理策略

具体配置参数及详细说明请参考https://streamthoughts.github.io/kafka-connect-file-pulse/%E3%80%82

文档与支持

• 官方文档：https://streamthoughts.github.io/kafka-connect-file-pulse/
• 源代码：https://github.com/streamthoughts/kafka-connect-file-pulse
• Issue跟踪：https://github.com/streamthoughts/kafka-connect-file-pulse/issues
• 发布版本：https://github.com/streamthoughts/kafka-connect-file-pulse/releases

许可信息

该项目基于Apache License 2.0许可协议开源，版权归2019-2021 StreamThoughts所有。详细许可条款见Apache License 2.0。