rudderstack/rudder-databricks-connector

镜像概述

该Docker镜像主要用于通过databricks-sql-connector执行SQL命令，并支持通过gRPC协议与rudder-server进行通信集成，适用于需要在数据处理流程中执行Databricks SQL操作并与rudder-server交互的场景。

核心功能与特性

• SQL命令执行：集成databricks-sql-connector，支持连接Databricks集群并执行SQL查询、命令
• gRPC通信：内置gRPC客户端，可与rudder-server建立通信，实现数据交互或任务协调
• 轻量级集成：设计用于与rudder-server无缝协作，简化数据处理流程中的SQL执行环节

使用场景与适用范围

• 数据同步任务：通过执行SQL从Databricks获取数据，并通过gRPC发送至rudder-server
• 自动化分析流程：在数据分析 pipeline 中，通过该镜像执行SQL分析命令，并将结果传递给rudder-server进行后续处理
• 与rudder-server集成的Databricks SQL任务调度：适用于需要与rudder-server协调的定时或触发式SQL执行场景

使用方法与配置说明

前提条件

• 已安装Docker环境
• 拥有Databricks集群访问权限（需提供主机地址、访问令牌等）
• 可访问的rudder-server gRPC服务端点

环境变量说明

部署示例

Docker Run命令

bash
docker run -d \
  -e DATABRICKS_HOST="https://your-databricks-instance.databricks.com" \
  -e DATABRICKS_TOKEN="your-databricks-token" \
  -e RUDDER_SERVER_GRPC_URL="rudder-server:50051" \
  -e SQL_QUERY="SELECT * FROM your_table LIMIT 10" \
  your-image-name:latest

通过文件挂载SQL命令

若SQL命令较长，可将其写入文件并挂载到容器中：

bash
docker run -d \
  -e DATABRICKS_HOST="https://your-databricks-instance.databricks.com" \
  -e DATABRICKS_TOKEN="your-databricks-token" \
  -e RUDDER_SERVER_GRPC_URL="rudder-server:50051" \
  -v /path/to/your/sql/file.sql:/app/query.sql \
  your-image-name:latest

基本使用步骤

1. 配置必要的环境变量（Databricks访问信息、rudder-server地址）
2. 通过环境变量或挂载文件指定要执行的SQL命令
3. 启动容器，镜像将自动连接Databricks执行SQL，并通过gRPC与rudder-server交互