计算机视觉/视频分析

开始使用 NVIDIA Instant NeRFs

 

新的 NVIDIA NGP Instant NeRFs 是一个很好的入门介绍,可以帮助你开始学习神经辐射领域。在短短的一个小时内,你就可以编译代码库,准备你的图像,并训练你的第一个 NeRF 。与其他 NeRF 实现不同, Instant NeRF 只需几分钟就能训练出好看的视觉效果。

在我的实践视频(嵌入式)中,我会带你了解制作第一个书呆子的来龙去脉。我将介绍几个关键技巧,帮助您编译代码库,并解释如何捕获好的输入图像。我将浏览 GUI 界面,并解释如何优化场景参数。最后,我展示了你必须从你的场景中创建一个动画。

 
视频 1 。与 NVIDIA Instant NeRFs 携手合作

编译代码库

对于经验丰富的程序员和数据科学家来说,代码库很容易编译。初学者可以从 GitHub 的主存储库轻松地遵循 bycloudai 的 fork 中提供的详细说明。以下是一些有助于安装过程的附加提示:

捕捉图像以获得即时的 NeRF

管道同时接受照片和视频输入,以产生即时 NeRF 。即时 NeRF 生成管道的第一步使用 COLMAP 来确定相机位置。由于这一事实,你必须遵循摄影测量学的基本原则,关于重叠和锐利的图像。 视频 中向您展示了理想捕获的示例图像。

Photos with callouts: Avoid changes in lighting, use a gimbal to ensure sharpness, and take 50-150 overlapping images.
图 1 。关于输入图像的一些技巧,可以提高 NeRF 输出的质量

启动 GUI 并训练你的第一个 NeRF

当图像的位置为您的第一个即时 NeRF 做好准备时,使用附带的测试平台通过 Anaconda 启动图形用户界面。从代码库编译的 exe 文件。 NeRF 会自动开始训练你的 NeRF 。

你会发现大部分视觉质量都是在前 30 秒内获得的;然而,你的神经衰弱会在几分钟内持续改善。 GUI 中的丢失图最终会变平,您可以停止训练以提高观看者的帧率。

Screenshot with a callout indicating where to find the Flattened loss graph within the GUI.
图 2 。 Instant NeRF 软件中 GUI 的快照突出显示了平坦的损失图

GUI 包括许多可视化选项,包括对摄像头的控制和调试可视化。在演示视频中,我介绍了 GUI 中的几个不同选项。

提示:将常用的命令行提示保存在记事本中,以备将来参考。

Figure 3- Share your commonly used command prompts in a notepad for ease of use later on.
图 3 。软件中的命令行提示

创建动画

NVIDIA 提供了一个带有 GUI 的易于使用的摄像头路径编辑器。要添加关键帧,请在场景中导航并选择 从 Cam 添加 。图形用户界面用贝齐尔曲线生成相机轨迹。要预览动画,请选择 Read 。如果对动画满意,请保存相机路径,并使用脚本文件夹中的渲染脚本渲染全质量视频。

Screenshot of the static images rendering into a 3D scene.
图 4 。 Instant NeRF 将静态图像渲染为 3D 场景

结论

我发现 Instant NeRFs 的一大好处是,我可以捕捉整个背景作为场景的一部分。通过摄影测量,我失去了物体周围环境的背景。这一事实让我兴奋不已,因为它开启了一个全新的世界,以新的方式捕捉和可视化世界。

我发现用 NVIDIA Instant NeRFs 进行实验是对新兴技术的一次很好的介绍。我能够产生结果的速度意味着我可以快速了解什么对图像捕获有用。我希望本演练能让你在开始探索书呆子的力量和乐趣之旅时受益匪浅。

敬请期待

既然你知道如何捕捉一组图像并将其转换为 3D 场景,我们建议你开始练习。 NVIDIA 将举办一场比赛,以赢得进入市场的最新 GPU , NVIDIA RTX 3090 Ti 。在 Twitter 和 LinkedIn 上关注 NVIDIA ,与 5 月底发布的竞争公告保持联系。

 

Tags