Fast Data Dev

![docker]([] ![]([]

加入Slack Lenses.io社区！

概述

Fast Data Dev 是一个打包为Docker容器的Apache Kafka开发环境。它提供了完整的Kafka生态系统，包括Kafka Broker、Confluent Schema Registry和Kafka Connect，并预装了Lenses.io的Stream Reactor开源连接器（可选企业支持）。此外，还提供了数据生成器、Web界面（可访问各种服务日志和可选的TLS密钥库与信任库），以及大量可自定义的设置选项。

快速开始

我们建议将fast-data-dev与Lenses CE（社区版）结合使用，通过我们提供的docker-compose实现，可在此处获取。Lenses为Apache Kafka和Kafka Connect提供业界领先的开发体验，在众多功能中，您可能会特别喜欢SQL Studio（允许在Kafka主题上运行SQL查询）和SQL处理器（用于创建流SQL查询）。

我们的docker-compose将为您设置fast-data-dev和Lenses。

基本用法

使用一条命令启动完整的Kafka环境：

docker run --rm \
    -p 9092:9092 \
    -p 8081:8081 \
    -p 8083:8083 \
    -p 3030:3030 \
    lensesio/fast-data-dev

通过以下地址访问Web界面：http://localhost:3030
Kafka Broker可通过localhost:9092访问，Schema Registry通过http://localhost:8081访问，Kafka Connect通过http://localhost:8083访问。

用于远程访问的自定义主机

docker run --rm \
    -e ADV_HOST=<您的IP地址或DNS名称> \
    -p 9092:9092 \
    -p 8081:8081 \
    -p 8083:8083 \
    -p 3030:3030 \
    lensesio/fast-data-dev

此设置可能需要允许从容器自身连接到fast-data-dev。例如，如果在云VM中运行，可能需要设置防火墙不仅接受来自您计算机的连接，还接受来自VM本身的连接。

在docker-compose中使用

此设置允许从主机和其他docker-compose服务访问。从主机访问Broker的地址是localhost:9092，而对于docker-compose服务则是kafka:19092。

  kafka:
    image: lensesio/fast-data-dev:3.9.0
    hostname: kafka
    environment:
      ADV_HOST: kafka
      RUNNING_SAMPLEDATA: 1
      RUNTESTS: 0
      # 如果要从主机本地开发访问Kafka，需要以下三个变量。它们适用于KRaft模式的fast-data-dev（3.9.x或更高版本）。Broker将可通过localhost:9092访问。
      KAFKA_LISTENERS: PLAINTEXT://:9092,DOCKERCOMPOSE://:19092,CONTROLLER://:16062
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://localhost:9092,DOCKERCOMPOSE://demo-kafka:19092
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: >
        DOCKERCOMPOSE:PLAINTEXT,CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT,
        SSL:SSL,SASL_PLAINTEXT:SASL_PLAINTEXT,SASL_SSL:SASL_SSL
      # 减轻系统负担
      DISABLE: debezium-mongodb,debezium-mysql,debezium-postgres,debezium-sqlserver,debezium-jdbc
    # 这些是Kafka和Schema Registry的端口。如果不需要从主机访问Kafka，可以禁用它们。
    ports:
      - 9092:9092
      - 8081:8081
      - 8083:8083
      - 3030:3030
    # 可选，允许恢复工作（持久化）
    # volumes:
    #   - kafka-data-volume:/data

SSL/TLS设置

# 启用SSL并自动生成证书
docker run --rm -p 9092:9092 -p 8081:8081 -p 3030:3030 -p 8083:8083 \
  -e ENABLE_SSL=1 \
  -e SSL_EXTRA_HOSTS=myhost.example.com,192.168.1.100 \
  lensesio/fast-data-dev

# 通过http://localhost:3030/certs/访问证书
# 密钥库密码：fastdata

无数据生成器和Kafka Connect

docker run --rm -p 9092:9092 -p 8081:8081 -p 3030:3030 \
  -e SAMPLEDATA=0 \
  -e RUNTESTS=0 \
  -e CONNECT_PORT=0 \
  lensesio/fast-data-dev

连接器开发

# 仅启用特定连接器
docker run --rm --net=host \
  -e CONNECTORS=file \
  -e CONNECT_HEAP=2G \
  -v /path/to/custom/connector.jar:/connectors/connector.jar \
  lensesio/fast-data-dev

架构和组件

Fast Data Dev最初于2016年推出，当时Kafka正逐渐获得关注但尚未成为主流。我们希望让每个人都能在几分钟内开始使用流处理。无论是刚开始使用Kafka的新手还是经验丰富的工程师，都对我们的努力给予了肯定，我们也一直在持续升级和添加新功能。

我们使用从源代码构建的原始Apache Kafka，以及同样从源代码构建的Confluent Schema Registry。

组件

查看当前组件版本的最可靠方法是检查/build.info：

docker run --rm lensesio/fast-data-dev:latest cat /build.info

• Apache Kafka 3.9.0
• Confluent Schema Registry 7.7.1
• Stream Reactor Connectors 9.0.2
  • AWS S3
  • Azure Datalake
  • Azure DocumentDB
  • Azure EventHubs
  • Azure ServiceBus
  • Cassandra
  • ElasticSearch
  • FTP
  • Google Cloud Platform PubSub
  • Google Cloud Platform Cloud Storage
  • HTTP
  • JMS
  • MQTT
  • 以及更多
• Debezium Connectors 2.7.4

服务

默认启用的服务：

• Kafka Broker
  • 默认地址：PLAINTEXT://localhost:9092
  • 以KRaft模式设置
  • JMX可在localhost:9581访问
  • 可选TLS监听器：-e ENABLE_TLS=1
  • 可选广告监听器：-e ADV_HOST=[HOST]。如果启用了TLS，ADV_HOST将添加到自签名证书中。您还可以使用-e EXTRA_HOSTS=[HOST1],[HOST2],...添加额外主机
  • 配置文件位于/var/run/broker/server.properties
  • 使用supervisorctl restart broker重启
• Schema Registry
  • 默认地址：http://localhost:8081
  • 配置文件位于/var/run/schema-registry
  • 使用supervisorctl restart schema-registry重启
• Kafka Connect
  • 默认地址：http://localhost:8083
  • JMX可在localhost:9584访问
  • 获取所有可用连接器列表：

    docker run --rm lensesio/fast-data-dev:latest \
      find /opt/lensesio/connectors -name "kafka-connect-*" -type d -exec basename '{}' \;
    

  • 使用-e DISABLE=aws-s3,debezium-jdbc禁用连接器以提高RAM使用率或避免与用户添加的插件冲突
  • 使用-e CONNECTORS=aws-s3,file显式启用连接器
  • 通过将自定义连接器挂载到/connectors添加您自己的连接器
  • 完全禁用Connect：-e CONNECT_PORT=0
  • 配置文件位于/var/run/connect/connect-avro-distributed.properties
  • 使用supervisorctl restart connect-distributed重启
• Caddy Web服务器
  提供Web界面，您可以在其中查看日志、配置文件以及下载自签名密钥库和信任库文件。
  • 默认地址：http://localhost:3030
  • 使用-e WEB_PORT=0完全禁用
  • 通过设置-e USER=[USER] -e PASSWORD=[PASSWORD]进行密码保护
• 数据生成器
  创建多个主题，包含AVRO和JSON格式的复杂数据。
  • 默认情况下，生成器会运行一次以创建和填充主题，然后退出。
  • 设置-e RUNNING_SAMPLEDATA=1使生成器持续运行（循环数据集）
  • 设置-e SAMPLEDATA=0禁用生成器
  • 如果启用，还将创建一个演示文件连接器，读取broker的日志并将其发送到主题。设置-e FORWARDLOGS=0禁用此功能
• 冒烟测试
  基本功能测试，确认服务是否正确启动
  • 设置-e RUNTESTS=0禁用测试

默认禁用的服务：

• Web终端
  • 使用-e WEB_TERMINAL_PORT=[PORT]启用
  • 默认凭据：admin/admin
  • 使用-e WEB_TERMINAL_CREDS=[USER]:[PASS]更改凭据
• Supervisord Web UI
  • 使用-e SUPERVISORWEB=1启用
  • 默认地址：http://localhost:9001
  • 如果Web服务器设置了凭据，此处也将应用相同的凭据

高级配置

内存配置选项

-e CONNECT_HEAP_OPTS="-Xmx640M -Xms128M"
-e BROKER_HEAP_OPTS="-Xmx320M -Xms320M"
-e CONNECT_HEAP_OPTS="-Xmx256M -Xms128M"

安全和认证选项

-e USER=admin             # Web UI的基本认证用户名（默认：kafka）
-e PASSWORD=secret        # Web UI的基本认证密码
-e ENABLE_SSL=1           # 为Broker启用SSL/TLS
-e SSL_EXTRA_HOSTS=host1,host2  # 额外的SSL证书主机
-e WEB_TERMINAL_CREDS=admin:admin

数据和测试

-e SAMPLEDATA=0           # 禁用示例数据生成
-e RUNNING_SAMPLEDATA=1   # 启用持续的示例数据流
-e RUNTESTS=0             # 禁用集成测试
-e FORWARDLOGS=0          # 禁用日志转发到Kafka主题

连接器管理

-e CONNECTORS=jdbc,elastic,hbase     # 仅启用特定连接器
-e DISABLE=hbase,mongodb             # 禁用特定连接器

调试和开发

-e DEBUG=1                # 启用调试日志
-e RUN_AS_ROOT=1          # 以root用户运行服务
-e BROWSECONFIGS=1        # 在Web UI中公开服务配置
-e SUPERVISORWEB=1        # 启用supervisor Web界面（端口9001）
-e WEB_TERMINAL_PORT=9002 # 启用Web终端

Kafka组件配置

通过将属性转换为环境变量来配置任何Kafka组件：

• 将点替换为下划线
• 转换为大写
• 以服务名称为前缀

示例：

# Broker: log.retention.bytes -> KAFKA_LOG_RETENTION_BYTES
-e KAFKA_LOG_RETENTION_BYTES=1073741824

# Schema Registry: kafkastore.topic -> SCHEMA_REGISTRY_KAFKASTORE_TOPIC
-e SCHEMA_REGISTRY_KAFKASTORE_TOPIC=_schemas

# Connect: plugin.path -> CONNECT_PLUGIN_PATH
-e CONNECT_PLUGIN_PATH=/custom/connectors

前置/后置设置脚本

在启动过程中执行自定义脚本：

# 内联脚本
-e PRE_SETUP="echo '前置设置脚本'"

# 脚本文件
-e PRE_SETUP_FILE="/path/to/script.sh"
-v /local/script.sh:/path/to/script.sh

# 远程脚本
-e PRE_SETUP_URL="[***]"

使用环境

命令行工具

访问Kafka命令行工具：

# 直接运行命令
docker run --rm -it --net=host lensesio/fast-data-dev \
  kafka-topics --bootstrap-server localhost:9092 --list

# 进入容器进行交互式使用
docker run --rm -it --net=host lensesio/fast-data-dev bash

故障排除

常见问题

1. 容器启动失败并显示主机名错误

   • 解决方案：将您的主机名添加到/etc/hosts：127.0.0.1 YourHostname localhost

2. 无法从其他机器访问服务

   • 解决方案：使用-e ADV_HOST=<您的IP>并确保防火墙允许连接

3. 内存不足错误

   • 解决方案：增加Docker内存限制（建议至少4GB）
   • 调整堆大小：-e CONNECT_HEAP=2G -e BROKER_HEAP_OPTS="-Xmx1G"

4. SSL连接问题

   • 从http://localhost:3030/certs/下载证书
   • 所有密钥库使用密码fastdata

内存要求

• 最低：2GB RAM
• 推荐：4GB+ RAM
• 对于大量连接器使用：6GB+ RAM

从源代码构建

要求

• 支持多阶段构建的Docker
• 可选：用于多架构构建的Docker buildx

构建命令

# 基本构建
docker build -t local/fast-data-dev .

# 多架构构建
docker buildx build --platform linux/amd64,linux/arm64 -t local/fast-data-dev .