apache/sedona

Apache Sedona Docker镜像文档

镜像概述和主要用途

Apache Sedona™是一个空间计算引擎，旨在帮助开发人员在Apache Spark、Apache Flink等现代集群计算系统中轻松处理任意规模的空间数据。开发人员可通过Spatial SQL、空间Python或空间R表达空间数据处理任务。Sedona内部提供空间数据加载、索引、分区及查询处理/优化功能，支持高效分析任意规模的空间数据。本Docker镜像包含Python JupyterLab、Apache Zeppelin以及1个主节点和1个工作节点，便于快速启动和使用Sedona进行空间数据开发。

核心功能和特性

• 支持多种地理空间数据格式，包括GeoJSON、WKT和ESRI Shapefile
• 可扩展的分布式处理大型矢量和栅格数据集
• 提供空间索引、空间查询和空间连接操作工具
• 与GeoPandas等流行地理空间Python工具集成
• 与Spark、Hadoop、Hive、Flink等大数据工具集成，用于数据存储和查询
• 提供用户友好的SQL、Python、Scala和Java语言API
• 支持独立模式、本地模式和集群模式等灵活部署选项

使用场景和适用范围

• 大规模空间数据集的分布式分析与处理
• 地理空间应用开发与原型验证
• 基于Spark/Flink的空间计算任务实现
• 空间SQL查询和地理数据分析教学
• 需要集成GeoPandas等工具的地理空间数据科学项目

详细使用方法和配置说明

拉取镜像

从DockerHub拉取Apache Sedona镜像：

bash
# 格式
docker pull docker.xuanyuan.run/apache/sedona:<sedona_version>

# 示例1：拉取最新版本
docker pull docker.xuanyuan.run/apache/sedona:latest

# 示例2：拉取特定版本
docker pull docker.xuanyuan.run/apache/sedona:{{ sedona.current_version }}

启动容器

基础启动命令

bash
# 格式
docker run -d -e DRIVER_MEM=<driver_mem> -e EXECUTOR_MEM=<executor_mem> \
  -p 8888:8888 -p 8080:8080 -p 8081:8081 -p 4040:4040 -p 8085:8085 \
  docker.xuanyuan.run/apache/sedona:<sedona_version>

环境变量说明：

• DRIVER_MEM：驱动程序内存（可选，默认4g）
• EXECUTOR_MEM：执行器内存（可选，默认4g）

端口说明：

• 8888: JupyterLab访问端口
• 8080: Spark主节点Web UI端口
• 8081: Spark工作节点Web UI端口
• 4040: Spark应用程序Web UI端口
• 8085: Apache Zeppelin访问端口

启动示例

示例1：指定内存配置启动

bash
docker run -d -e DRIVER_MEM=6g -e EXECUTOR_MEM=8g \
  -p 8888:8888 -p 8080:8080 -p 8081:8081 -p 4040:4040 -p 8085:8085 \
  docker.xuanyuan.run/apache/sedona:latest

示例2：使用默认内存配置启动特定版本

bash
docker run -d \
  -p 8888:8888 -p 8080:8080 -p 8081:8081 -p 4040:4040 -p 8085:8085 \
  docker.xuanyuan.run/apache/sedona:{{ sedona.current_version }}

示例3：持久化存储配置

使用Docker卷持久化Jupyter和Zeppelin数据：

bash
docker run -d -e DRIVER_MEM=6g -e EXECUTOR_MEM=8g \
  -p 8888:8888 -p 8080:8080 -p 8081:8081 -p 4040:4040 -p 8085:8085 \
  -v sedona_opt:/opt \
  docker.xuanyuan.run/apache/sedona:latest

-v sedona_opt:/opt：创建并挂载名为sedona_opt的Docker卷到容器/opt目录，确保Jupyter/Zeppelin的笔记本和配置在容器重启后仍能保留。

开始编码

1. 打开浏览器访问JupyterLab：http://localhost:8888/
2. 或访问Apache Zeppelin：http://localhost:8085/classic/

注意事项

• 系统要求：至少8GB RAM，容器将使用所有CPU核心和8GB RAM（工作节点4GB，Jupyter程序4GB）
• 运行限制：容器中Sedona以集群模式运行，一次只能运行一个笔记本，运行新笔记本前需关闭当前笔记本内核（参考https://jupyterlab.readthedocs.io/en/stable/user/running.html）

官方文档

• https://sedona.apache.org/latest-snapshot/tutorial/sql/
• https://sedona.apache.org/latest-snapshot/tutorial/geopandas-shapely/
• https://sedona.apache.org/latest-snapshot/api/rdocs/

更多信息请访问http://sedona.apache.org/

加入社区

社区活动

• 每4周举办一次社区办公时间，注册链接：[***]

交流渠道

• ***社区：
• LinkedIn：Apache Sedona@LinkedIn
• X：Apache Sedona@X
• 问题反馈：https://issues.apache.org/jira/projects/SEDONA | https://github.com/apache/sedona/issues
• 讨论交流：https://github.com/apache/sedona/discussions | https://lists.apache.org/list.html?sedona.apache.org

邮件列表订阅：发送空白邮件至***