apache/incubator-crail-rdma

Apache Crail (incubating) Docker镜像

镜像概述和主要用途

本镜像提供Apache Crail (incubating)的非官方便捷二进制文件。Apache Crail是一个快速的多层分布式存储系统，专为高性能网络和存储硬件设计，构成了Crail I/O架构的核心。该系统特别适用于需要高性能临时数据存储的场景，通常覆盖一到两个机架的规模。

核心功能和特性

• 用户空间零拷贝网络访问：直接从用户空间进行高效网络访问，消除不必要的数据拷贝
• 多存储层集成：无缝整合DRAM、闪存和分布式共享存储等多种存储层级
• 超低延迟操作：元数据和数据操作均实现超低延迟，例如：在分布式DRAM层中打开、读取和关闭小文件可在10微秒内完成，与最快的基于RDMA的键值存储性能相当
• 高性能顺序读写：提供极高的顺序读写性能，例如：在分布式DRAM层上读取大文件时，速度通常仅受网络性能限制
• 低CPU消耗：单个核心同时处理应用程序和文件系统客户端，即可驱动高达100Gbps甚至更高的顺序读写速度
• 异步API：利用基于RDMA的网络硬件的异步特性，提供高效异步API
• 可扩展插件架构：轻松添加针对特定硬件优化的新存储层

使用场景和适用范围

• 高性能计算环境中的临时数据存储
• 需要超低延迟数据访问的应用场景
• 大规模数据分析中的中间结果存储
• 高性能数据库和缓存系统的存储后端
• 对网络带宽和CPU资源有严格要求的分布式应用

使用方法和配置说明

基本使用方法

Docker Run命令示例

bash
docker run -d \
  --name crail \
  --net=host \
  --privileged \
  -v /path/to/crail/conf:/opt/crail/conf \
  -v /path/to/crail/data:/opt/crail/data \
  apache-crail:latest

Docker Compose配置示例

yaml
version: '3'
services:
  crail-master:
    image: apache-crail:latest
    container_name: crail-master
    network_mode: host
    privileged: true
    volumes:
      - ./crail/conf:/opt/crail/conf
      - ./crail/master-data:/opt/crail/data
    command: ["/opt/crail/bin/crail server master"]
    
  crail-storage:
    image: apache-crail:latest
    container_name: crail-storage
    network_mode: host
    privileged: true
    volumes:
      - ./crail/conf:/opt/crail/conf
      - ./crail/storage-data:/opt/crail/data
      - /dev/infiniband:/dev/infiniband  # 如果使用RDMA
    command: ["/opt/crail/bin/crail server storage"]
    depends_on:
      - crail-master

环境变量配置

配置文件挂载

Crail的主要配置文件位于/opt/crail/conf目录下，建议通过挂载方式提供自定义配置：

• crail-site.conf: 主配置文件
• log4j.properties: 日志配置
• storage-tier.conf: 存储层级配置

存储卷挂载

建议挂载以下目录以实现数据持久化和配置共享：

• /opt/crail/conf: 配置文件目录
• /opt/crail/data: 数据存储目录
• /dev/infiniband: RDMA设备（如使用RDMA网络）

文档和社区

官方文档

• 完整文档: [***]
• 官方网站: [***]

社区支持

加入Crail开发者邮件列表参与讨论和获取通知:

免责声明

Apache Crail是Apache软件基金会(ASF)正在孵化的项目，由Apache Incubator PMC赞助。所有新接受的项目都需要经过孵化阶段，直到进一步审查表明其基础设施、通信和决策过程已稳定，达到与其他成功ASF项目一致的水平。孵化状态不一定反映代码的完整性或稳定性，但确实表明该项目尚未得到ASF的完全认可。