seunglab/chunkflow

Chunkflow 镜像文档

镜像概述和主要用途

Chunkflow是一个专为大规模3D图像体积处理设计的工具,支持可组合操作符和混合云分布式计算。它能够高效处理PB级数据,已在实际应用中输出超过18PB图像,并可扩展至3600个带NVIDIA GPU的节点,广泛应用于卷积网络推理、图像分割、3D可视化等科研和工业场景。

核心功能和特性

主要特性

• 可组合操作符:命令行中可组合多个块操作符,实现灵活使用。
• 混合云分布式计算:任务调度前端与计算密集型后端通过AWS Simple Queue Service解耦,后端可部署在任何具备互联网连接和云认证的计算机上。
• PB级扩展能力:已验证可处理超过18PB图像,在Google Cloud三个区域扩展至3600个GPU节点仍保持可靠运行。
• 3D图像体积支持:所有操作符均针对3D图像体积设计。
• 自定义操作符插件:支持导入自定义代码作为操作符。

使用场景和适用范围

Chunkflow适用于需要处理大规模3D图像数据的场景,包括但不限于:

• 生物医学图像分析(如脑成像、组织切片)
• 工业3D检测与质量控制
• 科研领域的3D图像分割与可视化
• 卷积神经网络推理的分布式部署

使用方法和配置说明

Docker部署示例

基本运行命令

bash
docker run -it --rm seunglab/chunkflow chunkflow --help

图像分割示例

以下命令演示使用Chunkflow进行3D图像体积的卷积网络推理和分割,并通过Neuroglancer可视化结果:

bash
#!/bin/bash

chunkflow \
    read-tif --file-name path/of/image.tif -o image \
    inference --convnet-model path/of/model.py --convnet-weight-path path/of/weight.pt \
        --input-patch-size 20 256 256 --output-patch-overlap 4 64 64 --num-output-channels 3 \
        -f pytorch --batch-size 12 --mask-output-chunk -i image -o affs \
    plugin -f agglomerate --threshold 0.7 --aff-threshold-low 0.001 --aff-threshold-high 0.9999 -i affs -o seg \
    neuroglancer -i image,affs,seg -p 33333 -v 30 6 6

运行后,可通过Neuroglancer直接查看3D图像和分割结果。

操作符列表

安装后,执行chunkflow命令可列出所有操作符及帮助信息。以下是主要操作符功能说明:

参考

相关论文:

bibtex
@article{wu_chunkflow_2021,
    title = {Chunkflow: hybrid cloud processing of large 3D images by convolutional nets},
    issn = {1548-7105},
    shorttitle = {Chunkflow},
    url = {https://www.nature.com/articles/s41592-021-01088-5},
    doi = {10.1038/s41592-021-01088-5},
    journal = {Nature Methods},
    author = {Wu, Jingpeng and Silversmith, William M. and Lee, Kisuk and Seung, H. Sebastian},
    year = {2021},
    pages = {1--2}
}

更多详细文档请参见官方文档。