Fast Data Dev

![docker]([] ![]([]

加入Lenses.io社区Slack！

概述

Fast Data Dev 是一个打包为Docker容器的Apache Kafka开发环境。它提供了完整的Kafka生态系统，包括Kafka Broker、Confluent Schema Registry和Kafka Connect，并预安装了Lenses.io的Stream Reactor开源连接器（可选企业支持）。此外，还包含数据生成器、Web界面（用于访问各种服务日志）、可选的TLS密钥库和信任库，以及大量可自定义的设置，可根据需求进行调整。

快速开始

建议将fast-data-dev与Lenses CE（社区版）结合使用，可通过我们的docker-compose实现（获取地址）。Lenses为Apache Kafka和Kafka Connect提供业界领先的开发体验，其众多功能中，您可能会特别喜欢SQL Studio（允许在Kafka主题上运行SQL查询）和SQL处理器（用于创建流式SQL查询）。

我们的docker-compose将为您自动设置fast-data-dev和Lenses。

基本用法

通过一条命令启动完整的Kafka环境：

docker run --rm \
    -p 9092:9092 \
    -p 8081:8081 \
    -p 8083:8083 \
    -p 3030:3030 \
    lensesio/fast-data-dev

通过以下地址访问Web界面：http://localhost:3030
Kafka Broker可通过localhost:9092访问，Schema Registry通过http://localhost:8081访问，Kafka Connect通过http://localhost:8083访问。

带自定义主机的远程访问

docker run --rm \
    -e ADV_HOST=<您的IP地址或DNS名称> \
    -p 9092:9092 \
    -p 8081:8081 \
    -p 8083:8083 \
    -p 3030:3030 \
    lensesio/fast-data-dev

此设置可能需要允许从容器自身访问fast-data-dev。例如，若在云虚拟机中运行，可能需要配置防火墙，不仅允许来自您计算机的连接，还允许来自虚拟机本身的连接。

在docker-compose中使用

此设置允许从主机和其他docker-compose服务访问。从主机访问Broker的地址为localhost:9092，从docker-compose服务访问的地址为kafka:19092。

  kafka:
    image: lensesio/fast-data-dev:3.9.0
    hostname: kafka
    environment:
      ADV_HOST: kafka
      RUNNING_SAMPLEDATA: 1
      RUNTESTS: 0
      # 以下三个变量是在主机本地开发时访问Kafka所需，适用于KRaft模式的fast-data-dev（3.9.x及更高版本）。Broker将通过localhost:9092可用。
      KAFKA_LISTENERS: PLAINTEXT://:9092,DOCKERCOMPOSE://:19092,CONTROLLER://:16062
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://localhost:9092,DOCKERCOMPOSE://demo-kafka:19092
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: >
        DOCKERCOMPOSE:PLAINTEXT,CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT,
        SSL:SSL,SASL_PLAINTEXT:SASL_PLAINTEXT,SASL_SSL:SASL_SSL
      # 减轻资源占用
      DISABLE: debezium-mongodb,debezium-mysql,debezium-postgres,debezium-sqlserver,debezium-jdbc
    # 这些是Kafka和Schema Registry的端口。如果不需要从主机访问Kafka，可以禁用。
    ports:
      - 9092:9092
      - 8081:8081
      - 8083:8083
      - 3030:3030
    # 可选，用于持久化数据（以便恢复工作）
    # volumes:
    #   - kafka-data-volume:/data

SSL/TLS设置

# 启用SSL并自动生成证书
docker run --rm -p 9092:9092 -p 8081:8081 -p 3030:3030 -p 8083:8083 \
  -e ENABLE_SSL=1 \
  -e SSL_EXTRA_HOSTS=myhost.example.com,192.168.1.100 \
  lensesio/fast-data-dev

# 通过http://localhost:3030/certs/访问证书
# 密钥库密码：fastdata

无数据生成器和Kafka Connect

docker run --rm -p 9092:9092 -p 8081:8081 -p 3030:3030 \
  -e SAMPLEDATA=0 \
  -e RUNTESTS=0 \
  -e CONNECT_PORT=0 \
  lensesio/fast-data-dev

连接器开发

# 仅启用特定连接器
docker run --rm --net=host \
  -e CONNECTORS=file \
  -e CONNECT_HEAP=2G \
  -v /path/to/custom/connector.jar:/connectors/connector.jar \
  lensesio/fast-data-dev

架构与组件

Fast Data Dev于2016年首次推出，当时Kafka正逐渐兴起但尚未普及。我们希望让所有人能在几分钟内开始使用流处理。无论是Kafka新手还是经验丰富的工程师，都对我们的努力给予了支持，我们至今仍在持续升级和添加新功能。

我们使用从源码构建的原生Apache Kafka，以及从源码构建的Confluent Schema Registry。

组件版本

查看当前组件版本的最可靠方式是检查/build.info：

docker run --rm lensesio/fast-data-dev:latest cat /build.info

• Apache Kafka 3.9.0
• Confluent Schema Registry 7.7.1
• Stream Reactor连接器 9.0.2
  • AWS S3
  • Azure Datalake
  • Azure DocumentDB
  • Azure EventHubs
  • Azure ServiceBus
  • Cassandra
  • ElasticSearch
  • FTP
  • Google Cloud Platform PubSub
  • Google Cloud Platform Cloud Storage
  • HTTP
  • JMS
  • MQTT
  • 以及更多
• Debezium连接器 2.7.4

服务

默认启用的服务：

• Kafka Broker
  • 默认地址：PLAINTEXT://localhost:9092
  • 采用KRaft模式设置
  • JMX可通过localhost:9581访问
  • 通过-e ENABLE_TLS=1启用可选的TLS监听器
  • 通过-e ADV_HOST=[HOST]设置可选的通告监听器。若启用TLS，ADV_HOST将添加到自签名证书中。还可通过-e EXTRA_HOSTS=[HOST1],[HOST2],...添加额外主机
  • 配置文件路径：/var/run/broker/server.properties
  • 通过supervisorctl restart broker重启
• Schema Registry
  • 默认地址：http://localhost:8081
  • 配置文件路径：/var/run/schema-registry
  • 通过supervisorctl restart schema-registry重启
• Kafka Connect
  • 默认地址：http://localhost:8083
  • JMX可通过localhost:9584访问
  • 获取所有可用连接器列表：

    docker run --rm lensesio/fast-data-dev:latest \
      find /opt/lensesio/connectors -name "kafka-connect-*" -type d -exec basename '{}' \;
    

  • 通过-e DISABLE=aws-s3,debezium-jdbc禁用连接器以减少内存使用或避免与用户添加的插件冲突
  • 通过-e CONNECTORS=aws-s3,file显式启用连接器
  • 通过将自定义连接器挂载到/connectors目录添加自己的连接器
  • 完全禁用Connect：-e CONNECT_PORT=0
  • 配置文件路径：/var/run/connect/connect-avro-distributed.properties
  • 通过supervisorctl restart connect-distributed重启
• Caddy Web服务器
  提供Web界面，可查看日志、配置文件，下载自签名密钥库和信任库文件。
  • 默认地址：http://localhost:3030
  • 通过-e WEB_PORT=0完全禁用
  • 通过设置-e USER=[用户名] -e PASSWORD=[密码]进行密码保护
• 数据生成器
  创建多个包含AVRO和JSON格式复杂数据的主题。
  • 默认情况下，生成器运行一次并填充主题后退出。
  • 通过设置-e RUNNING_SAMPLEDATA=1使生成器持续运行（循环生成数据）
  • 通过设置-e SAMPLEDATA=0禁用生成器
  • 若启用，还会创建一个演示文件连接器，读取Broker日志并将其写入主题。通过-e FORWARDLOGS=0禁用
• 冒烟测试
  验证服务是否正确启动的基本功能测试
  • 通过设置-e RUNTESTS=0禁用

默认禁用的服务：

• Web终端
  • 通过-e WEB_TERMINAL_PORT=[端口]启用
  • 默认凭据：admin/admin
  • 通过-e WEB_TERMINAL_CREDS=[用户名]:[密码]修改凭据
• Supervisord Web UI
  • 通过-e SUPERVISORWEB=1启用
  • 默认地址：http://localhost:9001
  • 若Web服务器设置了凭据，此处也将使用相同凭据

高级配置

内存配置选项

-e CONNECT_HEAP_OPTS="-Xmx640M -Xms128M"  # Kafka Connect堆内存配置
-e BROKER_HEAP_OPTS="-Xmx320M -Xms320M"   # Kafka Broker堆内存配置
-e CONNECT_HEAP_OPTS="-Xmx256M -Xms128M"  # 同上（示例重复，实际使用时择一）

安全与认证选项

-e USER=admin             # Web UI基本认证用户名（默认：kafka）
-e PASSWORD=secret        # Web UI基本认证密码
-e ENABLE_SSL=1           # 为Broker启用SSL/TLS
-e SSL_EXTRA_HOSTS=host1,host2  # 额外的SSL证书主机
-e WEB_TERMINAL_CREDS=admin:admin  # Web终端凭据

数据与测试

-e SAMPLEDATA=0           # 禁用示例数据生成
-e RUNNING_SAMPLEDATA=1   # 启用持续示例数据流
-e RUNTESTS=0             # 禁用集成测试
-e FORWARDLOGS=0          # 禁用日志转发到Kafka主题

连接器管理

-e CONNECTORS=jdbc,elastic,hbase     # 仅启用特定连接器
-e DISABLE=hbase,mongodb             # 禁用特定连接器

调试与开发

-e DEBUG=1                # 启用调试日志
-e RUN_AS_ROOT=1          # 以root用户运行服务
-e BROWSECONFIGS=1        # 在Web UI中公开服务配置
-e SUPERVISORWEB=1        # 启用supervisor Web界面（端口9001）
-e WEB_TERMINAL_PORT=9002 # 启用Web终端（指定端口）

Kafka组件配置

通过将属性转换为环境变量来配置任何Kafka组件：

• 将点替换为下划线
• 转换为大写
• 以服务名称为前缀

示例：

# Broker：log.retention.bytes -> KAFKA_LOG_RETENTION_BYTES
-e KAFKA_LOG_RETENTION_BYTES=1073741824

# Schema Registry：kafkastore.topic -> SCHEMA_REGISTRY_KAFKASTORE_TOPIC
-e SCHEMA_REGISTRY_KAFKASTORE_TOPIC=_schemas

# Connect：plugin.path -> CONNECT_PLUGIN_PATH
-e CONNECT_PLUGIN_PATH=/custom/connectors

前置/后置设置脚本

在启动过程中执行自定义脚本：

# 内联脚本
-e PRE_SETUP="echo '前置设置脚本'"

# 脚本文件
-e PRE_SETUP_FILE="/path/to/script.sh"
-v /local/script.sh:/path/to/script.sh  # 挂载本地脚本到容器

# 远程脚本
-e PRE_SETUP_URL="[***]"  # 从URL下载并执行脚本

使用环境

命令行工具

访问Kafka命令行工具：

# 直接运行命令
docker run --rm -it --net=host lensesio/fast-data-dev \
  kafka-topics --bootstrap-server localhost:9092 --list

# 进入容器交互使用
docker run --rm -it --net=host lensesio/fast-data-dev bash

故障排除

常见问题

1. 容器启动失败并显示主机名错误

   • 解决方案：将您的主机名添加到/etc/hosts：127.0.0.1 YourHostname localhost

2. 服务无法从其他机器访问

   • 解决方案：使用-e ADV_HOST=<您的IP>并确保防火墙允许连接

3. 内存不足错误

   • 解决方案：增加Docker内存限制（建议至少4GB）
   • 调整堆大小：-e CONNECT_HEAP=2G -e BROKER_HEAP_OPTS="-Xmx1G"

4. SSL连接问题

   • 从http://localhost:3030/certs/下载证书
   • 所有密钥库密码：fastdata

内存要求

• 最低：2GB RAM
• 推荐：4GB+ RAM
• 大量使用连接器时：6GB+ RAM

从源码构建

要求

• 支持多阶段构建的Docker
• 可选：用于多架构构建的Docker buildx

构建命令

# 基本构建
docker build -t local/fast-data-dev .

# 多架构构建
docker buildx build --platform linux/amd64,linux/arm64 -t local/fast-data-dev .