一个便于协作的NeRF工作室

• 快速开始
• 了解更多
• 支持的功能

关于

使用nerfstudio就像即插即用一样简单！

Nerfstudio 提供了一个简单的 API，可简化 NeRF 的创建、训练和测试的端到端流程。该库通过将每个组件模块化，支持更具可解释性的 NeRF 实现。通过更模块化的 NeRF，我们希望为探索这项技术创造更友好的用户体验。

这是一个便于贡献者参与的仓库，旨在建立一个社区，让用户可以更轻松地基于彼此的贡献进行构建。

我们致力于提供学习资源，帮助您（如果您刚刚入门）了解 NeRF 的基础知识，（如果您是资深人士）了解 NeRF 的最新动态。作为研究人员，我们深知掌握这项下一代技术的难度。因此，我们通过教程、文档等方式为您提供帮助！

有功能需求？想添加您的全新 NeRF 模型？有新数据集？我们欢迎贡献！ 如有任何问题，请随时通过 *** 联系 nerfstudio 团队。

有反馈？如果您想告诉我们您是谁、为什么对 Nerfstudio 感兴趣或提供任何反馈，我们希望您填写我们的 Nerfstudio 反馈表！

我们希望 nerfstudio 能让您更快地构建 :hammer: 共同学习 :books: 并为我们的 NeRF 社区做出贡献 :sparkling_heart:。

赞助商

本项目的赞助商包括 Luma AI 和 BAIR commons。

快速开始

本快速开始将帮助您使用在经典 Blender 乐高场景上训练的默认 vanilla NeRF 入门。对于更复杂的更改（例如，使用您自己的数据运行/设置新的 NeRF 图），请参考我们的参考资料。

1. 安装：设置环境

前提条件

系统上必须安装有 NVIDIA 显卡和 CUDA。本库已使用 CUDA 11.8 版本进行测试。您可以在此处找到有关安装 CUDA 的更多信息。

创建环境

Nerfstudio 需要 python >= 3.8。我们建议使用 conda 管理依赖项。继续之前，请确保已安装 Conda。

conda create --name nerfstudio -y python=3.8
conda activate nerfstudio
pip install --upgrade pip

依赖项

安装带 CUDA 的 PyTorch（本仓库已使用 CUDA 11.7 和 CUDA 11.8 测试）和 https://github.com/NVlabs/tiny-cuda-nn%E3%80%82%E6%9E%84%E5%BB%BA tiny-cuda-nn 需要 cuda-toolkit。

对于 CUDA 11.8：

pip install torch==2.1.2+cu118 torchvision==0.16.2+cu118 --extra-index-url https://download.pytorch.org/whl/cu118

conda install -c "nvidia/label/cuda-11.8.0" cuda-toolkit
pip install ninja git+https://github.com/NVlabs/tiny-cuda-nn/#subdirectory=bindings/torch

有关更多信息，请参见安装文档中的https://github.com/nerfstudio-project/nerfstudio/blob/main/docs/quickstart/installation.md#dependencies%E3%80%82

安装 nerfstudio

简单选项：

pip install nerfstudio

或者 如果您想要最新版本：

git clone https://github.com/nerfstudio-project/nerfstudio.git
cd nerfstudio
pip install --upgrade pip setuptools
pip install -e .

或者 如果您想跳过所有安装步骤并直接开始使用 nerfstudio，请使用 docker 镜像：

参见https://github.com/nerfstudio-project/nerfstudio/blob/main/docs/quickstart/installation.md - 使用 docker 镜像。

2. 训练您的第一个模型！

以下将训练一个 nerfacto 模型，这是我们推荐用于真实世界场景的模型。

# Download some test data:
ns-download-data nerfstudio --capture-name=poster
# Train model
ns-train nerfacto --data data/nerfstudio/poster

如果一切正常，您应该会看到如下训练进度：

导航到终端末尾的链接将加载 Web 查看器。如果您在远程机器上运行，则需要端口转发 websocket 端口（默认为 7007）。

从检查点恢复 / 可视化现有运行

可以通过运行以下命令加载预训练模型：

ns-train nerfacto --data data/nerfstudio/poster --load-dir {outputs/.../nerfstudio_models}

可视化现有运行

给定预训练模型检查点，您可以通过运行以下命令启动查看器：

ns-viewer --load-config {outputs/.../config.yml}

3. 导出结果

拥有 NeRF 模型后，您可以渲染视频或导出点云。

渲染视频

首先，我们必须创建相机要遵循的路径。这可以在查看器的“RENDER”选项卡下完成。将 3D 视图定向到您希望视频开始的位置，然后按“ADD CAMERA”。这将设置第一个相机关键帧。继续到新的视角，添加额外的相机以创建相机路径。我们提供其他参数来进一步优化您的相机路径。满意后，按“RENDER”，这将显示一个包含渲染视频所需命令的模态框。终止训练作业（如果您有足够的计算资源，也可以创建新终端）并运行命令生成视频。

还有其他视频导出选项，通过运行以下命令了解更多：

ns-render --help

生成点云

虽然 NeRF 模型并非设计用于生成点云，但仍然可以实现。导航到 3D 查看器中的“EXPORT”选项卡并选择“POINT CLOUD”。如果选择了裁剪选项，黄色方框内的所有内容将被导出为点云。根据需要修改设置，然后在命令行中运行面板底部的命令。

或者，您可以在不使用查看器的情况下使用 CLI。通过运行以下命令了解导出选项：

ns-export pointcloud --help

4. 使用自定义数据

使用现有数据集很棒，但您可能希望使用自己的数据！我们支持多种使用自定义数据的方法。在 nerfstudio 中使用之前，必须确定相机位置和方向，然后使用 ns-process-data 将其转换为我们的格式。我们依赖外部工具来完成此操作，相关说明和信息可在文档中找到。

5. 高级选项

训练nerfacto以外的模型

我们提供了nerfacto以外的其他模型，例如如果您想训练原始的nerf模型，请使用以下命令

ns-train vanilla-nerf --data DATA_PATH

要查看所有包含的模型列表，请运行 ns-train --help。

修改配置

每个模型都包含许多可更改的参数，数量太多无法在此一一列出。使用 --help 命令查看完整的配置选项列表。

ns-train nerfacto --help

Tensorboard / WandB / 查看器

了解更多

以上就是nerfstudio基础入门的全部内容。

如果您有兴趣了解更多关于如何创建自己的流水线、使用查看器进行开发、运行基准测试等内容，请查看下面的一些快速链接，或直接访问我们的文档。

支持的功能

我们提供以下支持结构，以便更轻松地开始使用NeRF。

如果您正在寻找当前不支持的功能，请随时通过*联系Nerfstudio团队！**

• :mag_right: 基于Web的可视化工具，允许您：
• 实时可视化训练过程并与场景交互
• 使用自定义相机轨迹创建和渲染场景
• 查看不同的输出类型
• 以及更多功能！
• :pencil2: 支持多种日志接口（Tensorboard、Wandb）、代码分析和其他内置调试工具
• :chart_with_upwards_trend: 易于使用的Blender数据集基准测试脚本
• :iphone: 完整的流水线支持（使用Colmap、Polycam或Record3D），可从手机上的视频生成完整的3D渲染。

构建基础

• 易于使用的配置系统

• 由Brent Yi开发

• 用于加速NeRF渲染的库

• 由Ruilong Li开发

引用

您可以在arXiv上找到该框架的论文。

如果您使用此库或发现文档对您的研究有帮助，请考虑引用：

@inproceedings{nerfstudio,
title = {Nerfstudio: A Modular Framework for Neural Radiance Field Development},
author = {
Tancik, Matthew and Weber, Ethan and Ng, Evonne and Li, Ruilong and Yi, Brent
and Kerr, Justin and Wang, Terrance and Kristoffersen, Alexander and Austin,
Jake and Salahi, Kamyar and Ahuja, Abhik and McAllister, David and Kanazawa,
Angjoo
},
year = 2023,
booktitle = {ACM SIGGRAPH 2023 Conference Proceedings},
series = {SIGGRAPH '23}
}

贡献者