streamsets/datacollector

StreamSets Data Collector Docker镜像文档

镜像概述和主要用途

StreamSets Data Collector是一款数据收集和处理工具，本Docker镜像基于Alpine Linux构建，提供便捷的部署和运行方式，适用于各类数据收集场景，支持自定义配置、数据持久化及扩展功能。

核心功能和特性

• 支持通过环境变量覆盖配置文件属性，灵活调整运行参数
• 可挂载自定义配置文件或目录，实现个性化配置
• 支持数据卷挂载，确保数据和阶段库（stage libraries）持久化存储
• 提供多种登录方式，适配不同用户需求（默认账户登录或本地admin账户）
• 支持阶段库的安装和管理，扩展数据处理能力

使用场景和适用范围

适用于需要快速部署数据收集和处理工具的场景，包括但不限于：

• 数据集成流程的开发和运行
• 多数据源的数据收集与转换
• 企业级数据处理任务（需企业许可证）
• 开发和测试环境中的数据流程验证

使用方法和配置说明

基本使用

启动容器

bash
docker run --restart on-failure -p 18630:18630 -d --name sdc streamsets/datacollector

登录方式

• 访问 localhost:18630（或替换为容器运行主机的IP）
• 默认通过 accounts.streamsets.com 账户登录（可免费注册）
• 如需使用本地账户登录，启动时添加环境变量：

  bash
  docker run --restart on-failure -p 18630:18630 -d --name sdc --env SDC_CONF_http_authentication=form streamsets/datacollector
  

  默认用户名/密码：admin/admin

注意事项

• 非企业许可证用户无论登录方式如何，均需通过 accounts.streamsets.com 激活产品
• 企业用户可参考 support.streamsets.com 获取更多激活步骤

详细使用

• 自定义配置：通过卷挂载自定义配置到 /etc/sdc 或 /etc/sdc/<特定配置文件>
• 环境变量覆盖配置：通过前缀为 SDC_CONF_ 的环境变量覆盖 sdc.properties 中的配置，例如：
  • http.port 对应环境变量 SDC_CONF_HTTP_PORT=12345
• 数据卷要求：至少需为数据目录和阶段库指定数据卷，默认数据目录为 /data（可通过环境变量 SDC_DATA 修改）
• 端口映射：可自定义端口映射或传递额外参数给 streamsets 命令

示例：自定义配置和数据卷

bash
docker run -v $PWD/sdc.properties:/etc/sdc/sdc.properties:ro -v $PWD/sdc-data:/data:rw -p 18630:18630 -d streamsets/datacollector dc

创建数据卷

基本数据卷创建

bash
docker volume create --name sdc-data

使用数据卷启动容器

bash
docker run -v sdc-data:/data -P -d streamsets/datacollector dc

说明：Docker 数据管理有两种方式：数据卷（创建时为空）和数据容器（基于镜像派生，包含初始文件）。详情参考 Docker 数据卷文档。

预配置 Data Collector

选项 1：使用数据卷（推荐）

创建配置数据容器

bash
docker create -v /etc/sdc --name sdc-conf streamsets/datacollector

编辑配置文件

通过临时容器编辑配置：

bash
docker run --rm -it --volumes-from sdc-conf ubuntu bash

（可替换 ubuntu 为其他基础镜像，在 /etc/sdc 目录下修改配置文件）

创建多数据卷容器

bash
docker create -v /etc/sdc -v /data --name sdc-volumes streamsets/datacollector

管理阶段库

1. 创建阶段库数据卷：

   bash
   docker volume create --name sdc-stagelibs
   # 如未创建 /data 数据卷，需同时创建
   docker volume create --name sdc-data
   

2. 挂载阶段库和数据卷启动容器（以 3.9.1 版本为例）：

   bash
   docker run --name sdc -d -v sdc-stagelibs:/opt/streamsets-datacollector-3.9.1/streamsets-libs -v sdc-data:/data -P streamsets/datacollector dc -verbose
   

3. 列出可用阶段库：

   bash
   docker run --rm streamsets/datacollector:3.9.1 stagelibs -list
   

4. 安装阶段库（如 JDBC）：

   bash
   docker run --rm -v sdc-stagelibs:/opt/streamsets-datacollector-3.9.1/streamsets-libs streamsets/datacollector:3.9.1 stagelibs -install=streamsets-datacollector-jdbc-lib
   

选项 2：构建自定义镜像

通过 Dockerfile 基于官方镜像创建自定义镜像，便于分发：

示例 Dockerfile

dockerfile
FROM streamsets/datacollector:3.9.1
# 自定义 sdc.properties 配置
COPY sdc.properties /etc/sdc/sdc.properties

构建和推送镜像

bash
docker build -t mycompany/datacollector:3.9.1-abc .
docker push mycompany/datacollector:3.9.1-abc

注意：不推荐通过 docker commit 命令基于运行中容器创建镜像。