databricksruntime/dbfsfuse

dbfsfuse Ubuntu镜像文档

镜像概述和主要用途

该镜像由Databricks提供，基于Ubuntu系统构建，集成了dbfsfuse客户端，用于在容器环境中将Databricks File System (DBFS) 挂载为本地文件系统，实现对DBFS中数据的便捷访问与操作。主要用途是为容器化应用提供DBFS文件系统的挂载能力，支持通过标准文件系统接口访问DBFS数据。

核心功能和特性

• 系统基础：基于Ubuntu系统，提供稳定的运行环境
• dbfsfuse集成：内置dbfsfuse客户端，支持将DBFS挂载为本地文件系统
• 标签策略：带有“-LTS”后缀的标签会定期进行安全修补和更新；非“-LTS”标签的镜像仅作为示例，不提供定期修补和更新
• 文件系统支持：兼容标准FUSE文件系统操作，包括文件读写、目录遍历、权限管理等

使用场景和适用范围

• Databricks集群环境：在Databricks集群内的容器化应用中挂载DBFS，简化数据访问流程
• 开发与测试：本地开发或测试环境中，快速搭建dbfsfuse环境以模拟DBFS访问
• 数据处理应用：需直接读取DBFS存储数据的批处理、流处理等应用，通过挂载DBFS降低数据访问复杂度

使用方法和配置说明

前提条件

• 已安装Docker引擎
• 拥有访问DBFS的权限（如Databricks个人访问令牌或集群凭证）

拉取镜像

从Docker仓库拉取镜像，建议使用带“-LTS”后缀的标签以获取定期安全修补：

bash
docker pull databricks/ubuntu-dbfsfuse:<tag>
# 示例：拉取最新LTS标签镜像
docker pull databricks/ubuntu-dbfsfuse:latest-LTS

运行容器与挂载DBFS

通过docker run命令启动容器并挂载DBFS，需提供认证凭证及挂载路径：

bash
docker run -it --rm \
  --cap-add SYS_ADMIN \  # 提供挂载FUSE所需权限
  --device /dev/fuse \   # 挂载FUSE设备
  -e DATABRICKS_TOKEN=<your-databricks-token> \  # DBFS访问令牌（必填）
  -e DBFS_MOUNT_PATH=/dbfs \  # 容器内DBFS挂载路径（默认值）
  databricks/ubuntu-dbfsfuse:latest-LTS \
  dbfsfuse /dbfs  # 执行挂载命令

配置参数说明

环境变量

• DATABRICKS_TOKEN（必填）：用于认证访问DBFS的Databricks个人访问令牌
• DBFS_MOUNT_PATH（可选）：DBFS在容器内的挂载路径，默认值为/dbfs
• DBFS_ENDPOINT（可选）：DBFS服务端点URL，默认根据Databricks工作区自动确定

命令行参数

运行dbfsfuse命令时可添加额外参数，例如启用调试模式：

bash
dbfsfuse --debug /dbfs  # 启用调试模式挂载DBFS

注意事项

• 生产环境建议使用“-LTS”标签镜像，以获取定期安全修补
• 容器需具备SYS_ADMIN权限和/dev/fuse设备访问权，否则可能导致挂载失败
• 挂载成功后，可通过DBFS_MOUNT_PATH路径像操作本地文件一样访问DBFS中的文件和目录