人工智能/深度学习

新的 NVIDIA Kaolin 库版本简化了 3D 深度学习研究工作流程

3D 深度学习研究人员可以使用 Kaolin PyTorch 库(现已提供)在最新算法的基础上简化和加速工作流程。

NVIDIA Kaolin 库于 2019 年 11 月首次发布,最初是作为实习项目在 NVIDIA 多伦多人工智能实验室编写的。在为几个项目编写重复的样板代码和复制算法组件后,研究人员开始开发 PyTorch 库,将 3D 深度学习( 3D DL )的通用功能带到一个地方。自第一次发布以来, Kaolin 库已发展成为一个成熟的代码库,具有用于 3D 深度学习的强大且优化的实用程序和算法。

Kaolin 库为 3D 深度学习研究人员带来了加速其工作流程的实用工具,以及可重用的研究组件,为未来的创新提供了基础。例如,Kaolin 简化了用于培训的复杂 3D 数据集的处理。它还包括 3D 检查点的编写器,这些检查点可以通过最新的 RTX NVIDIA 技术在 Omniverse Kaolin 应用程序中可视化。它还提供了构建模块,如 3D 表示之间的转换、用于训练的有用 3D 损失函数以及可微分渲染。Kaolin 团队致力于提供持续改进,并提供新的算法构建块,以推动 3D DL 创新。

Kaolin 库最新版本包括一种新的表示,结构化点云( SPC ),一种基于稀疏 o CTR ee 的加速数据结构,具有高效卷积和光线跟踪功能。 SPC 可用于放大和加速神经隐式表示,这在当今 3D DL 研究中很流行。它还支持最新版本的NeuralLOD训练,可将内存减少 30 倍,训练时间缩短 3 倍。

Charles Loop 的可视化模型由斯坦福大学周倩仪提供。使用Kaolin 的 SPC 进行实时体绘制。颜色表示每射线的“点击数”,通过稀疏 SPC 结构有效计算。

它还包括一个名为 Dash3D 的新的轻量级 Tensorboard 样式 web 仪表板。用户可以利用此工具检查 DL 模型在培训期间生成的 3D 预测的检查点,即使在远程硬件配置上也是如此。

在新的Kaolin Dash3D 训练中,对 3D 模型预测进行轻量级可视化。

该库版本改进了对 3D 数据集的支持,包括新数据集( SHREC 、 ModelNet )、附加格式(.off)和USD 3D 文件格式的加速,从而使训练期间的加载时间效率比流行的 obj 格式提高了 5 倍。此外,还包括可微绘制三维检查点的新教程。

有关Kaolin 库版本的更多详细信息,请参见官方变更日志。研究人员今天可以在GitHub上下载 Kaolin 库。

该库的配套文件 Omniverse Kaolin 应用程序可通过 NVIDIA Omniverse 获得。立即下载 NVIDIA Omniverse 公开测试版开始。要获得更多支持,请加入 Omniverse Discord 服务器 Omniverse 论坛与社区聊天。

 

Tags