apache/incubator-crail

Apache Crail (孵化中) 镜像

镜像概述

本镜像提供Apache Crail（孵化中）的非官方便捷二进制分发，Crail是一个为高性能网络和存储硬件设计的快速多 tier 分布式存储系统，构成Crail I/O架构的核心，专为机架级范围内性能关键的临时数据存储优化。

核心功能特性

性能优化

• 零拷贝网络访问：用户空间直接访问网络，消除数据拷贝开销
• 超低延迟：分布式DRAM tier中小文件的打开、读取、关闭操作耗时<10微秒，元数据操作性能媲美最快RDMA键值存储
• 高吞吐性能：大文件顺序读写速度受限于网络性能，单核心可驱动100Gbps+数据传输
• 低CPU消耗：单核心同时处理应用与文件系统客户端，实现高速数据传输的同时降低CPU占用

架构特性

• 多存储层集成：统一管理DRAM、闪存及分布式共享存储等多种存储 tier
• 异步API：利用RDMA网络硬件的异步特性，提供高效异步编程接口
• 可扩展插件架构：支持快速添加针对特定硬件的新存储 tier

技术实现

• Java实现，提供直接集成Java堆外内存的Java API
• 设计目标为机架级（1-2个机架）性能关键临时数据存储

使用场景

• 高性能计算集群：为分布式计算任务提供低延迟临时数据存储
• AI/机器学习训练：存储训练过程中的中间结果，加速数据访问
• 实时流数据处理：支持高速流处理中的临时数据缓存与交换
• 高性能数据库：作为数据库临时表空间或缓存层，提升数据操作速度

使用方法

前置要求

• 支持RDMA的高性能网络环境
• 按存储 tier 需求配置的硬件（如足量DRAM、闪存设备）
• 容器网络需满足高性能传输要求（建议使用host网络模式）

基本部署流程

1. 获取镜像

   bash
   docker pull [镜像仓库地址]/apache-crail:latest
   

2. 配置文件准备 创建本地配置目录（如/path/to/crail/conf），根据集群需求配置以下文件：

   • crail-site.xml：核心配置文件，定义存储 tier、网络参数、节点信息等
   • log4j.properties：日志配置
   • slaves：集群节点列表

3. 启动容器 根据节点角色（namenode/datanode）启动容器，示例：

   bash
   # 启动namenode
   docker run -d --name crail-namenode --net=host \
     -v /path/to/crail/conf:/opt/crail/conf \
     -v /path/to/crail/data/namenode:/opt/crail/data \
     [镜像仓库地址]/apache-crail:latest \
     /opt/crail/bin/crail namenode
   
   # 启动datanode
   docker run -d --name crail-datanode --net=host \
     -v /path/to/crail/conf:/opt/crail/conf \
     -v /path/to/crail/data/datanode:/opt/crail/data \
     [镜像仓库地址]/apache-crail:latest \
     /opt/crail/bin/crail datanode
   

文档与社区

官方文档

• 完整部署、开发指南：[***]
• 本地构建文档：在源码/doc目录执行make html，生成文档位于/doc/build/html/index.html

社区支持

• 开发者邮件列表：***（用于讨论与通知）

免责声明

Apache Crail是Apache软件基金会（ASF）的孵化项目，由Apache Incubator PMC赞助。孵化状态不代表代码的完整性或稳定性，亦不表示项目已获得ASF的完全认可。