Lenses® for Apache Kafka

镜像概述和主要用途

这是Lenses的官方Docker镜像，旨在为Apache Kafka提供全面的流数据管理解决方案。作为无状态应用，Lenses天然适合容器化部署，可运行在Kubernetes或Openshift平台，帮助用户配置、查看和操作流数据管道，提升数据处理的可靠性和效率。

核心功能和特性

• 数据查询与浏览：查看和查询Kafka主题数据（支持Avro和JSON格式），通过Lenses SQL进行数据查询
• 集群监控：查看数据拓扑，监控Kafka集群的各个方面
• 数据模式管理：查看和管理数据模式（Schema）
• ETL管道构建与监控：使用开源Kafka Connectors构建和监控ETL管道
• KStreams处理器执行：在Kubernetes或Connector工作节点中执行SQL编写的KStreams处理器
• 告警与通知：设置流系统活跃度的告警和外部通知
• 数据治理：所有操作的审计跟踪、数据血缘及多租户支持
• 安全管理：细粒度安全控制，基于角色的访问控制（RBAC）及LDAP支持
• 配额与ACL管理：管理Kafka配额和访问控制列表（ACL）

使用场景和适用范围

本镜像主要面向企业客户，同时也支持拥有免费开发者许可证的用户使用。适用于需要对Kafka集群进行全面管理、监控和数据处理的场景，特别是流数据管道的配置、运行状态监控及数据处理任务的执行。用户需通过下载页面获取免费开发者许可证或企业试用版。

使用方法和配置说明

环境变量配置

Lenses的配置选项可通过环境变量设置，规则为：将配置选项名转换为大写，并将点（.）替换为下划线（_）。例如，lenses.port对应环境变量LENSES_PORT。

Docker Compose示例

version: '2'
services:
  lenses:
    image: lensesio/lenses
    environment:
      LENSES_PORT: 9991
      # # 用户管理配置（可选）
      # LENSES_SECURITY_USER: admin  # 超级用户名
      # LENSES_SECURITY_PASSWORD: admin  # 超级用户密码
    ports:
      - 9991:9991  # Lenses Web UI端口
      - 9102:9102  # 监控指标端口
    network_mode: host

数据卷说明

镜像包含两个数据卷，用于存储关键数据：

• /data/log：日志存储目录
• /data/kafka-streams-state：Lenses SQL处理器的状态存储目录（根据查询和主题数据量，该目录可能占用较大空间，需确保足够容量并监控空间使用；重启Lenses时需保留此目录以保证SQL处理器可继续运行）

权限说明

容器默认以root权限启动，之后降权为nobody:nogroup（UID:GID=65534:65534）运行Lenses。若以自定义user:group启动容器，需确保上述两个数据卷对该用户/组可写。

配置文件配置

Lenses的配置由两个文件驱动：lenses.conf（主配置）和security.conf（安全配置）。默认通过环境变量自动生成，也可直接挂载配置文件。

配置文件要求

1. 根据官方文档创建配置文件
2. 挂载路径：
   • lenses.conf挂载至/mnt/settings/lenses.conf
   • security.conf挂载至/mnt/secrets/security.conf
3. 注意事项：
   • lenses.conf中需省略lenses.secret.file配置项
   • 若手动设置涉及文件路径的配置项，需确保Lenses可访问这些文件

构建方法

若需自行构建镜像，可执行以下命令：

标准构建

docker build -t lensesiolocal/lenses .

多架构构建（适用于不支持原生多架构构建的旧版Docker）

docker build \
  --build-arg TARGETOS=linux --build-arg TARGETARCH=amd64 \
  -t lensesiolocal/lenses .

更多信息

• 官方文档：[***]
• 社区支持：Discourse、Slack
• 企业客户支持：通过专属支持渠道获取帮助

Copyright 2017-2023, Lenses.io Ltd