cogstacksystems/cogstack-nifi

镜像概述

此目录包含与自定义Apache NiFi镜像相关的文件，以及带有关联服务的示例部署模板。Apache NiFi用作可定制的数据管道引擎，用于控制和执行服务间的数据流，并提供多个带有自定义用户脚本的工作流模板。

有关Apache NiFi的更多信息，请参阅官方网站。

自定义Docker镜像

对于示例部署，建议构建并使用自定义的Apache NiFi Docker镜像，该镜像将包含所有必要的配置、驱动程序、自定义用户脚本和工作流。否则，需手动设置、配置和导入这些内容。

Docker镜像构建说明定义在Dockerfile文件中。CI过程会构建两个镜像：

• cogstacksystems/cogstack-nifi:latest - 从master分支构建的最新镜像
• cogstacksystems/cogstack-nifi:dev-latest - 从devel分支构建的最新镜像

Apache NiFi配置

Apache NiFi的主要配置文件位于conf目录中。

有关更详细的信息，请参阅官方Apache NiFi系统管理员指南。

bootstrap.conf

此文件允许用户配置NiFi的启动设置，包括Java堆大小、要运行的Java命令以及Java系统属性等参数。

自定义镜像使用增大的Java堆大小（最小值：1G，最大值：4G，默认值：512MB），配置如下：

java.arg.2=-Xms1G
java.arg.3=-Xmx4G

nifi.properties

此文件允许用户更细致地配置NiFi的操作设置，例如缓冲的流文件最大数量、数据溯源的存储空间等。

自定义镜像减少了数据溯源、流文件存储和索引操作的资源与存储空间（主要为避免Java最大堆大小错误），相关属性已在文件中注释。

驱动程序

驱动程序位于drivers目录中，关键驱动程序包括：

• mssql-jdbc-7.2.2.jre11.jar - MS SQL Server JDBC驱动程序
• postgresql-42.2.5.jar - PostgreSQL JDBC驱动程序

用户资源

自定义镜像中捆绑了用于快速启动示例工作流的资源。

有关工作流的更多详细信息，请参阅deploy目录中的WORKFLOWS.md。

工作流模板

工作流模板定义了可由用户定制和执行的示例数据工作流，存储在user-templates目录中。

用户脚本

Apache NiFi允许用户在数据流中执行自定义脚本（支持语言：Python、Groovy、Clojure、Ruby、Lua、ECMAScript）。user-scripts目录包含示例脚本，主要用于解析流文件中的数据。

用户模式

user-scripts目录包含示例AVRO类型模式，可由数据解析器和处理器使用。