streamsets/datacollector-libs

镜像概述和主要用途

本仓库中的Docker镜像包含StreamSets stage库，专门供基于Docker的StreamSets Data Collector（SDC）实例使用。这些镜像提供预配置的stage库，可简化SDC实例对特定功能组件的集成过程。

核心功能和特性

• 预配置stage库：包含多种StreamSets stage库，无需手动下载配置
• 容器化集成：通过Docker卷挂载方式，使SDC容器可直接使用预定义的stage库
• 版本匹配：提供与特定SDC版本兼容的stage库镜像，确保组件兼容性

使用场景和适用范围

适用于基于Docker部署StreamSets Data Collector的场景，尤其适合需要快速集成特定stage库（如CDH等）的用户，简化依赖管理和环境配置流程。

使用方法和配置说明

基本使用流程

1. 创建stage库容器，用于提供预配置的库文件
2. 启动SDC容器时，通过--volumes-from参数挂载库容器的卷，使SDC可访问stage库

部署示例

以启动SDC 3.3.1并集成CDH 5.14库为例：

1. 首先创建CDH 5.14库容器：

bash
docker create streamsets/datacollector-libs:streamsets-datacollector-cdh_5_14-lib-3.3.1

2. 启动SDC容器并挂载库容器的卷：

bash
docker run -d -P --volumes-from=$(docker create streamsets/datacollector-libs:streamsets-datacollector-cdh_5_14-lib-3.3.1) streamsets/datacollector:3.3.1

上述命令会先创建包含CDH 5.14库的容器，然后启动SDC 3.3.1容器并使用该库容器的预定义卷，从而使SDC实例能够直接使用CDH 5.14相关的stage功能。