deltaio/delta-sharing-server

Delta Sharing 服务器镜像文档

镜像概述和主要用途

Delta Sharing是一种用于安全实时交换大型数据集的开放协议，使组织能够跨计算平台实时共享数据。本镜像提供Delta Sharing Server的预构建版本，这是Delta Sharing协议的参考实现服务器，适用于开发目的。用户可部署此服务器以共享存储在现代云存储系统（如S3、ADLS、GCS）上的Delta Lake和Apache Parquet格式的现有表。

核心功能和特性

• 开放协议：基于简单的REST协议，确保跨平台兼容性
• 实时数据共享：支持大型数据集的安全实时交换
• 跨平台访问：数据消费者可通过pandas、Tableau、Apache Spark、Rust等支持该协议的系统直接访问共享数据，无需预先部署特定计算平台
• 云存储集成：利用S3、ADLS、GCS等现代云存储系统可靠传输数据
• 高效共享模式：数据提供者一次共享数据集即可覆盖广泛消费者，消费者可在几分钟内开始使用数据

使用场景和适用范围

• 组织间需要安全共享大型数据集的场景
• 跨不同计算平台（如不同云服务、本地环境）的数据交换需求
• 开发环境中快速部署Delta Sharing服务以测试数据共享功能
• 需要让多方用户通过不同工具（如数据分析工具、BI平台）访问同一数据集的场景

使用方法和配置说明

配置Delta Sharing服务器

从https://github.com/delta-io/delta-sharing/blob/main/server/src/universal/conf/delta-sharing-server.yaml.template%E8%8E%B7%E5%8F%96%E9%85%8D%E7%BD%AE%E6%A8%A1%E6%9D%BF%EF%BC%8C%E5%B9%B6%E6%8C%89%E7%85%A7%E5%85%B6https://github.com/delta-io/delta-sharing#config-the-shared-tables-for-the-server%E9%85%8D%E7%BD%AE%E6%9C%8D%E5%8A%A1%E5%99%A8%E3%80%82

启动Delta Sharing服务器

使用以下命令启动Delta Sharing服务器，需指定您自己的服务器配置文件：

bash
docker run -p <host-port>:<container-port> --mount type=bind,source=<服务器配置yaml文件路径>,target=/config/delta-sharing-server-config.yaml deltaio/delta-sharing-server:0.2.0 -- --config /config/delta-sharing-server-config.yaml

参数说明：

• <host-port>：主机端口，用于外部访问服务器
• <container-port>：容器端口，必须与配置文件中定义的端口一致
• <服务器配置yaml文件路径>：本地配置文件的路径，通过bind挂载到容器内的/config/delta-sharing-server-config.yaml

注意：容器端口必须与配置文件中定义的端口相同，以确保服务器可正常访问。