研究 神经场 近年来，它已成为计算机图形学和计算机视觉领域的一个日益热门的话题。通过使用将坐标作为输入并在该位置输出相应数据的神经网络，神经场可以表示形状、外观、运动和其他物理量等 3D 数据。
这些表示已被证明在生成建模和三维重建等各种应用中非常有用。 NVIDIA 项目，如： NGLOD, GANcraft, NeRF-Tex, EG3D, Instant-NGP 和 可变比特率神经场 ，正在以各种方式推进神经领域、计算机图形学和计算机视觉领域的最新技术。
研究挑战
神经领域的研究进展迅速，这意味着标准和软件往往落后。实现差异可能导致质量指标和性能的巨大差异。新项目的启动成本可能相当高，因为神经场的组成部分越来越复杂。研究小组之间的工作经常重复——例如，创建整个交互式应用程序来可视化神经场输出。
一个重要的里程碑是： NVIDIA Instant NGP ，由于其能够以近瞬间速度拟合各种信号，如神经辐射场（ NERF ）、符号距离场（ SDF ）和图像，最近吸引了研究界的广泛关注。由于其计算效率，它开启了实际应用和研究方向的新前沿。然而，由于高度专业化和优化的代码很难适应和扩展，这种计算效率也可能成为研究的障碍。
NVIDIA Kaolin Wisp
NVIDIA Kaolin Wisp 是一个快节奏、面向研究的神经领域库，旨在支持研究人员应对日益增长的学科挑战。它建在核心之上 Kaolin 库 功能，包括用于 3D 深度学习研究的更通用和稳定的组件。
Wisp 的目标是为神经领域的研究提供一个共同的核心库和框架。该库由可用于创建复杂神经场的模块化构建块和用于训练和可视化神经场的交互式应用程序组成。
Wisp 没有提供具体的实现，而是为神经领域提供了构建块。该框架易于扩展用于研究目的，由模块化管道组成，其中每个管道组件可以轻松互换，为标准培训提供即插即用配置。
Wisp 的目标不是提供可用于生产的代码，而是快速交付新模块，保持这项技术的领先地位。它还提供了一组丰富的示例，展示了 Kaolin 核心框架以及[ZHK 七]核心如何用于加速研究。
NVIDIA Kaolin Wisp 功能亮点
Kaolin Wisp 使用基于 Python 的 API ，该 API 基于 PyTorch ，使用户能够快速开发项目。与许多其他基于 PyTorch 的公共项目兼容， Kaolin Wisp 可以轻松地使用基于 PyTorch / CUDA 的构建块进行自定义。
虽然 Wisp 旨在提高开发人员的速度而不是计算性能，但库中提供的构建块经过优化，可以在几分钟内训练神经领域，并以交互方式可视化它们。
Kaolin Wisp 用构建块填充，以混合匹配的方式组成神经场管道。值得注意的例子是要素网格，包括：
- 层次八叉树：来自 NGLOD 用于学习空间细分树上的特征。八叉树还支持光线跟踪操作，除了 SDF 外，还可以训练基于多视图图像的 NGLOD NeRF 变体。
- 三平面特征：用于 EG3D 和 卷积占用网络 学习三平面纹理贴图上的体积特征的论文。三平面还支持多分辨率金字塔结构中的多细节层次（ LOD ）。
- 代码本：来自 可变二元神经场 ，学习具有可微可学习密钥的压缩特征码本。
- 哈希网格：来自 即时 NGP 用于学习具有高性能内存访问的紧凑缓存友好特征码本的论文。
NVIDIA Kaolin Wisp 与支持神经基元管道灵活渲染的交互式渲染器配对，如 NeRF 和神经 SDF 的变体。它允许集成新的表示。
OpenGL 风格的光栅化原语可以与神经表示混合并匹配，以添加更多数据层的可视化，如相机和占用结构。通过在 GUI 上支持可与培训和渲染交互的自定义小部件，它还允许轻松构建可定制的应用程序。
其他有用的功能包括属性查看器、优化控件、自定义输出渲染缓冲区和允许轻松操纵场景摄影机的摄影机对象。
要了解更多关于 Kaolin Wisp 和其他库的信息，请访问 NVIDIA Research。您 可以访问 kaolin-wisp GitHub 上的项目。
在 SIGGRAPH 2022 上加入 NVIDIA 3D 深度学习研究人员和 Kaolin 图书馆开发人员，参加关于： 照亮图形的未来 .提问，观看演示，了解 Kaolin Wisp 如何加速神经网络研究。
