增强现实/虚拟现实

利用 NVIDIA Omniverse 空间流,在 XR 中体验数字孪生技术

空间计算 体验正在转变我们与数据的交互方式,通过 扩展现实 (XR) 数字孪生 等技术连接物理和数字世界。这些进步使得分析和理解复杂数据集的方法更加直观、更加身临其境。

本文介绍了开发者现在如何在沉浸式环境中使用基于 通用场景描述 (Universal Scene Description,OpenUSD) NVIDIA Omniverse 数据集 ,从而将理解和见解提升到新的水平。

独特的混合渲染解决方案 

打造沉浸式空间体验面临独特的挑战。通常,XR 设备无法以逼真且引人入胜的体验所需的细节水平渲染复杂的数据集。硬件限制会降低保真度,导致难以保留复杂的细节。为了应对这些挑战,NVIDIA 在 CES 2025 上宣布 ,Omniverse 平台现在包含 Omniverse 数字孪生工作流的空间流 ,可实现具有出色视觉保真度和性能的 XR 体验。合作伙伴 Accenture、 Innoactive Katana 已开始将此工作流集成到其现有的空间工作流中。

这种混合渲染工作流使用 NVIDIA RTX GPU NVIDIA Graphics Delivery Network (GDN) 将本地渲染和基于云的渲染相结合。这种方法可确保提供高质量的沉浸式体验,同时减轻本地设备的压力。开发者现在可以将基于 OpenUSD 的详细、高保真 Omniverse 数字孪生串流到 Apple Vision Pro。

Architecture diagram showcasing the spatial streaming for Omniverse digital twins workflow.
图 1、适用于 Omniverse 数字孪生工作流的空间流可实现具有出色视觉保真度和性能的 XR 体验

设置空间串流 

按照以下步骤构建您自己的混合渲染应用,并使用 Omniverse 平台和 Apple Vision Pro 流式传输沉浸式体验。

1、创建 Omniverse Kit 应用 

首先,创建 Omniverse Kit 应用。它将充当数据集的服务器,处理计算密集型渲染任务。

2、添加 XR 扩展程序 

通过包含 XR 扩展包来启用空间串流。这可简化设置并确保包含所有必要组件。

3、构建并运行 Kit 应用 

构建并运行 Kit 应用,验证其如何正确处理和流式传输数据。

4、设置客户端项目 

在 Mac 上打开 Xcode 并配置客户端项目。这将在 Apple Vision Pro 上渲染最终视觉效果。

5、使用 Apple Vision Pro 模拟器进行测试 

在 Xcode 中使用 Apple Vision Pro 模拟器进行测试和调试,而无需使用物理头显设备。

6、配置示例项目 

调整所提供的示例项目,以使用您的特定数据集。默认配置使用 Purse USD 数据集作为参考。

7、连接到 Omniverse 服务器 

最后,将您的客户端项目关联到 Omniverse Server。这两者之间的通信通过 Omniverse 中的 ActionGraph Logic 进行管理。

设置空间串流的主要注意事项需要考虑以下几点

设置空间串流环境需要几个组件,详情如下。

  • Kit 应用即服务器:处理渲染任务,减少本地硬件压力,确保平稳运行。
  • XR 扩展程序:简化开发并最大限度地减少设置错误。
  • 提早构建和运行: 在继续之前,请先确定服务器设置中的潜在问题。
  • Xcode 客户端项目:管理服务器和本地设备之间的无缝通信。
  • 模拟器测试: 消除对物理硬件的依赖,加快开发速度。
  • 示例项目: 为针对特定数据集进行定制提供可靠的起点。

性能最佳实践 

优化渲染 

通过最大限度地减少延迟和优化网络条件,确保实现最佳性能。这可以最大限度地提高响应速度和空间体验质量。

光照和内容 

遵循照明和内容设计的最佳实践,打造令人惊叹的逼真环境,提高用户参与度。

GIF demonstrating the spatial streaming for Omniverse digital twins workflow, where a user wearing Apple Vision Pro interacts with an OpenUSD scene that is streaming a turbine to their device. The user pinches and drags to resize the turbine and then moves a UI window.
图 2、通过由 NVIDIA Omniverse 提供支持的 Apple Vision Pro 查看风力涡轮机视图。图片来源:Innoactive

混合渲染的优势 

借助 NVIDIA 混合渲染工作流,实现沉浸式串流体验可带来显著优势:

  • 高保真查看 :在不影响质量的情况下保持完整的数据集保真度。现在,大型企业数据集可以通过复杂的细节进行渲染,并流式传输到 Apple Vision Pro 的高分辨率显示器上。
  • 性能和响应速度: 云 GPU 可以渲染更复杂的数据集,处理更多 AI 工作流,并进行扩展以覆盖同时在线的众多用户。
  • 成本和节能: 利用可扩展的云资源降低成本和能耗
  • 可访问性: 无需昂贵且功能强大的工作站,即可实现沉浸式数字孪生体验。这普及了对高质量 XR 应用的访问。
  • 可持续性: 依靠数字模型而非物理原型,减少材料浪费和生产成本。例如,数字渲染可为每个项目节省高达 9000 美元的成本。
  • 利用 Apple Vision Pro: 充分利用高分辨率显示器和空间音频等高级功能,提供出色的用户体验。

后续步骤 

立即开始使用 Omniverse 数字孪生的空间流。如需了解详情,请查看以下资源:

通过 订阅 NVIDIA 新闻 在 Discord YouTube 和 Medium 上关注 NVIDIA Omniverse ,随时了解最新动态。观看 NVIDIA CEO Jensen Huang 在 CES 2025 上的主题演讲。

标签