apache/arrow-dev

Apache Arrow 开发便利镜像文档

1. 镜像概述和主要用途

1.1 概述

Apache Arrow 是一个跨语言的内存中列式数据格式库，旨在优化数据交换和处理效率。本镜像为开发者提供预配置的 Apache Arrow 开发环境，集成核心库及常用工具，简化开发流程，避免手动安装依赖的复杂性。

1.2 主要用途

• 快速搭建本地 Apache Arrow 开发环境，支持代码调试与功能验证
• 作为 CI/CD 流程中的测试环境，确保开发环境一致性
• 学习和实验 Apache Arrow 功能，降低环境配置门槛

2. 核心功能和特性

• 预配置核心库：内置 Apache Arrow C++ 核心库及头文件，支持直接编译依赖 Arrow 的应用
• 多语言绑定：包含常用语言绑定（如 Python pyarrow、Java Arrow 库，具体取决于镜像标签）
• 轻量级基础：基于 Alpine 或 Ubuntu 精简版，镜像体积优化
• 版本化标签：提供多版本标签（如 latest、14.0.0、nightly），支持版本锁定
• 开发工具集成：预装 gcc、make、git、cmake 等工具，满足编译调试需求

3. 使用场景和适用范围

3.1 适用场景

• 本地开发：开发者快速启动容器，测试基于 Arrow 的数据处理逻辑
• 自动化测试：集成到 CI/CD 流水线，验证代码对 Arrow 功能的兼容性
• 学习实验：无需手动配置环境，直接体验 Arrow 的列式存储、数据转换等核心能力

3.2 适用范围

• 个人开发者、企业研发团队
• 依赖 Apache Arrow 的数据处理、分析类应用开发
• 对环境一致性要求高的开发/测试场景

4. 使用方法和配置说明

4.1 docker run 命令示例

4.1.1 基础交互模式启动

以交互模式启动容器，进入命令行环境：

bash
docker run -it --rm apache/arrow-dev:latest /bin/bash

• -it：启用交互终端
• --rm：容器退出后自动删除，避免残留
• apache/arrow-dev:latest：镜像名称及标签（可替换为具体版本，如 14.0.0）

4.1.2 挂载本地目录（代码/数据共享）

将本地工作目录挂载到容器，实现代码持久化和共享：

bash
docker run -it --rm \
  -v $(pwd)/my_arrow_project:/workspace \  # 挂载本地项目目录到容器 /workspace
  apache/arrow-dev:latest \
  /bin/bash

4.1.3 指定语言环境（如 Python 开发）

若需使用 Python 绑定（如 pyarrow），可选择带 Python 标签的镜像：

bash
docker run -it --rm apache/arrow-dev:python /bin/bash

进入容器后验证 pyarrow 版本：

bash
python -c "import pyarrow as pa; print('pyarrow version:', pa.__version__)"

4.2 docker-compose 配置示例

创建 docker-compose.yml，定义服务及挂载配置：

yaml
version: '3.8'
services:
  arrow-dev:
    image: apache/arrow-dev:14.0.0  # 指定具体版本，避免自动更新
    volumes:
      - ./src:/workspace/src  # 挂载本地源代码目录
      - ./data:/workspace/data  # 挂载数据目录（持久化测试数据）
    environment:
      - ARROW_HOME=/usr/local  # Arrow 安装路径（镜像内置，无需修改）
      - TERM=xterm-256color  # 优化终端显示
    tty: true  # 保持容器后台运行

启动服务：

bash
docker-compose up -d  # 后台启动
docker-compose exec arrow-dev /bin/bash  # 进入容器终端

4.3 常用操作

4.3.1 验证 Arrow 版本

查看 C++ 库版本：

bash
# 基于 Ubuntu 的镜像
dpkg -l libarrow-dev | grep libarrow-dev

# 基于 Alpine 的镜像
apk info libarrow

4.3.2 编译示例代码

容器内编译依赖 Arrow 的 C++ 代码（假设代码文件为 test_arrow.cpp）：

bash
g++ test_arrow.cpp -o test_arrow -larrow -std=c++17
./test_arrow  # 执行编译后的程序

5. 配置参数和环境变量

5.1 镜像标签说明

5.2 内置环境变量

5.3 自定义配置建议

• 版本锁定：生产环境建议使用具体版本标签（如 14.0.0），避免 latest 自动更新导致兼容性问题
• 数据持久化：通过 -v 挂载本地目录，确保代码和测试数据不随容器删除丢失
• 多语言支持：根据开发需求选择对应标签（如 python、java），减少镜像体积