从训练自动驾驶汽车 (AV) 到为机器人和数字孪生提供支持，逼真的 3D 仿真正在成为现代 AI 和图形的基石。NeRF 和 3D Gaussian Splatting (3DGS) 等神经渲染技术彻底改变了根据原始传感器数据重建和可视化 3D 场景的方式。
在本文中，我们将介绍 3D Gaussian Unscented Transform (3DGUT) 的实现，这是一种先进的方法，可增强 gsplat 库中的神经渲染，并支持现实世界的摄像头效果。通过这种集成，开发者和研究人员可以更轻松地获得性能和保真度优势，为自主机器、机器人和其他物理 AI 应用创建丰富的虚拟世界。
3DGUT 如何推进 3D 渲染
3DGUT 正在彻底改变 3D 渲染和场景重建。3DGUT 基于广泛采用的 3DGS 框架构建，以更灵活的 Unscented Transform 取代传统的 Elliptical Weighted Average (EWA) splatting。这一进步使开发者能够在不牺牲渲染速度的情况下，以前所未有的准确性处理复杂的摄像头模型 (包括鱼眼镜头的失真和滚动快门效果) 。
3DGUT 还通过与 NVIDIA 光线追踪方法 3DGRT 无缝匹配，引入了用于模拟反射和折射等二次视觉现象的强大功能。为加速采用和研究，3DGUT 和 3DGRT 是开源的，可通过 nv-tlabs/3dgrut GitHub 资源库获取。
在 gsplat 中实现 3DGUT
广受欢迎的开源高斯射库 gsplat 专为开发和训练高斯射方法而设计。这对于充分发挥 3DGUT 的潜力至关重要。gsplat 提供与 PyTorch 兼容的 Python 绑定，以及经过优化的 CUDA 后端，其 众多功能 可增强 Gaussian Splatting 模型的优化。
gsplat 在 GitHub 上根据 Apache License 2.0 主动维护，为 Nerfstudio 等众多热门神经渲染库提供支持。结合 3DGUT 的灵活性和高度优化的模块化 gsplat 框架，为可扩展的高性能 3D 渲染提供了理想的环境。
可扩展 3D 渲染
将 3DGUT 集成到热门的开源 gsplat 库中，可以渲染 (和训练) 复杂的摄像头模型，包括失真和滚动快门。这对于生产级工作流至关重要。与支持批量和多 GPU 的轻量级 gsplat CUDA 后端搭配使用时，用户可以使用更少的资源探索更大的环境，同时保持实时反馈。
简化工作流程和快速实验
gsplat 的模块化即插即用架构是对 3DGUT 灵活性的理想补充。研究人员和开发者可以通过切换优化例程、摄像头模型甚至 Gaussian 表示来快速构建新架构的原型，而无需重写核心基础架构。
将 3DGUT 与 gsplat 搭配使用可减少工作流程中每个步骤（从数据集准备到视觉评估）的摩擦，从而加快迭代周期并提高研究生产力。观看即将推出的对 Nerfstudio 的交互式可视化工具和各种数据导入/导出格式的支持。
推动社区驱动的生态系统不断发展
gsplat 的开源特性与 3DGUT 的强大功能相结合，邀请了更广泛的研究人员、开发者和创作者社区来贡献、扩展和创新。无论您是构建新的神经渲染算法、集成到现有的 3D 工作流中，还是单纯地探索想法，这种集成都将为先进的 NVIDIA 研究和 gsplat 协作生态系统提供坚实的基础。它们共同实现了高性能 3D 渲染的普及，并加速了学术界和行业的进步。
助力物理 AI 开发
3DGUT 是视觉逼真度至关重要的物理 AI 应用的强大助力，包括机器人、自动驾驶汽车和具身智能体。通过对鱼眼镜头失真和滚动快门效应等复杂的摄像头现象进行建模，3DGUT 解决了在现实应用中收集数据时通常会遇到的许多挑战。这种保真度对于训练可靠的视觉系统至关重要，这些系统必须在动态运动和广角光学器件 (典型的现实世界机器人传感器) 下可靠地运行。
3DGUT 还支持二次照明效果，包括通过与 3DGRT 统一来实现反射和折射。这对于合成物体插入和多反射照明至关重要。这些照明线索会显著影响 AI 智能体解释深度、表面边界和物体材料属性的方式，使得它们的包含对于在复杂、不确定的条件下测试和改进行为至关重要。
此设置与 gsplat 快速灵活的渲染后端和 Nerfstudio 生态系统中的交互式工具集成，可实现快速实验和迭代，这对于推进物理 AI 的研发至关重要。
查看视频 3 和 4，比较普通针孔摄像头 (视频 3) 和启用 3DGUT 的鱼眼摄像头重建的场景 (视频 4) 。
开始使用 3DGUT
3DGUT 和 3DGRT 是开源的，可供全球开发者和研究社区使用。探索代码并通过 nv-tlabs/3dgrut GitHub 资源库做出贡献。此外，3DGUT 现已集成到广泛采用的开源 gsplat 库中，可实现无缝实验、即插即用渲染管线和部署就绪型性能。
要开始使用，请查看有关 NVIDIA 3DGUT 实施和 gsplat 与 3DGUT 集成 的综合文档和快速入门指南，包括使用它实现实时可视化和多格式数据集支持的教程。
NVIDIA 3DGUT 赢大奖活动
我们邀请研究人员和开发者在 NVIDIA 3DGUT 赢大奖活动中使用 gsplat 中的 3DGUT 或 3DGRUT (3DGUT 加 3DGRT) 生成创新场景，展示他们的创造力。参赛者将有机会赢取两块 NVIDIA RTX 4090 GPU，加速未来的研发。
