yandex/clickhouse-jdbc-bridge

ClickHouse JDBC Bridge Docker镜像

概述和主要用途

ClickHouse JDBC Bridge是一个无状态代理，用于将ClickHouse的查询传递到外部数据源。通过此扩展，您可以在ClickHouse服务器上使用JDBC表函数和/或相应的表引擎，实时查询任意数据源。

核心功能和特性

• 无状态设计：不存储持久数据，便于水平扩展
• 多数据源支持：通过JDBC驱动连接多种外部数据库（如MariaDB、PostgreSQL等）
• 灵活配置：支持命名数据源、模式和查询的配置
• 无缝集成：与ClickHouse原生JDBC表函数和表引擎兼容
• 驱动管理：可通过Maven仓库自动下载或本地挂载JDBC驱动

版本信息

• latest标签：指向master分支的最新发布版本
• 分支标签（如2.0）：指向对应分支的最新发布版本
• 完整版本标签（如2.0.0）：指向对应具体版本

使用场景和适用范围

适用于需要从ClickHouse查询外部数据库数据的场景，包括：

• 跨数据源数据集成与分析
• 实时访问外部业务数据库
• 无需数据迁移即可在ClickHouse中统一查询多源数据

使用方法和配置说明

启动JDBC桥

方式一：通过环境变量自动下载驱动

bash
docker run -d --name ch-jdbc-bridge -p9019:9019 \
    -e MAVEN_REPO_URL="https://repo1.maven.org/maven2" \
    -e JDBC_DRIVERS="org/mariadb/jdbc/mariadb-java-client/2.7.1/mariadb-java-client-2.7.1.jar,org/postgresql/postgresql/42.2.18/postgresql-42.2.18.jar" yandex/clickhouse-jdbc-bridge

方式二：挂载本地驱动和数据源配置

bash
# 下载JDBC驱动
wget -P drivers \
    https://repo1.maven.org/maven2/org/mariadb/jdbc/mariadb-java-client/2.7.1/mariadb-java-client-2.7.1.jar \
    https://repo1.maven.org/maven2/org/postgresql/postgresql/42.2.18/postgresql-42.2.18.jar

# 下载数据源配置文件
wget -P datasources \
    https://raw.githubusercontent.com/ClickHouse/clickhouse-jdbc-bridge/master/misc/quick-start/jdbc-bridge/config/datasources/mariadb10.json \
    https://raw.githubusercontent.com/ClickHouse/clickhouse-jdbc-bridge/master/misc/quick-start/jdbc-bridge/config/datasources/postgres13.json

# 编辑datasources/*.json文件，配置数据库连接信息
docker run -d --name ch-jdbc-bridge -p9019:9019 -v `pwd`/drivers:/app/drivers \
    -v `pwd`/datasources:/app/config/datasources yandex/clickhouse-jdbc-bridge

配置ClickHouse服务器

默认情况下，ClickHouse假设JDBC桥在localhost:9019可用。您可以在/etc/clickhouse-server/config.xml中自定义主机和端口：

xml
<yandex>
    ...
    <jdbc_bridge>
        <host>localhost</host>
        <port>9019</port>
    </jdbc_bridge>
    ...
</yandex>

在ClickHouse上执行查询

启动JDBC桥并配置ClickHouse服务器后，您可以在ClickHouse上执行以下查询：

sql
-- 显示所有命名数据源
select * from jdbc('', 'show datasources')

-- 查询临时数据源（出于安全考虑不推荐）
select * from jdbc('jdbc:mariadb://localhost:3306/test?useSSL=false&user=root&password=root', 'select 1')

-- 查询命名数据源，包含内联模式和临时查询
select * from jdbc('mariadb10', 'num UInt8', 'select 1 as num')

-- 脚本执行
select * from jdbc('script', '[1,2,3]')

配置详情

容器暴露9019端口，用于ClickHouse集成和监控。

目录结构

bash
/app                        # 工作目录
  |
  |-- drivers               # JDBC驱动存放目录
  |-- config                
  |     |
  |     |-- datasources     # 命名数据源配置目录
  |     |-- schemas         # 命名模式配置目录
  |     |-- queries         # 命名查询配置目录
  |
  |-- logs                  # 应用日志目录
  |-- scripts               # 保存的查询/脚本目录

环境变量说明

许可证

查看https://github.com/ClickHouse/clickhouse-jdbc-bridge/blob/master/LICENSE%E4%BA%86%E8%A7%A3%E6%AD%A4%E9%95%9C%E5%83%8F%E4%B8%AD%E5%8C%85%E5%90%AB%E7%9A%84%E8%BD%AF%E4%BB%B6%E8%AE%B8%E5%8F%AF%E8%AF%A6%E6%83%85%E3%80%82