GTC 大会火热进行中!别错过 NVIDIA CEO 黄仁勋的最新发布,以及 AI 和加速计算的必听会议。
增强现实/虚拟现实

在 PC 上构建 XR 应用程序以获得高质量的图形

在创建沉浸式虚拟环境时,用户希望体验尽可能逼真。尽管 AIO 耳机为 VR 用户提供了移动性和自由度,但这些耳机并不总是具有足够的功率,能够以精确的物理和照明来渲染逼真的场景。

使用云和专业 GPU ,您可以为沉浸式环境生成逼真的图形。 NVIDIA CloudXR 提供了两全其美,包括增强的移动性和 NVIDIA RTX GPU 的功能:

  • 通过连接 NVIDIA GPU 增强耳机的 VR 体验
  • 通过 NVIDIA RTX 技术,将 AI 、真实感渲染和精确物理带入 VR 环境
  • 通过适度的计算在设备上实现高质量的显示,以创造更大的沉浸感

进一步了解在使用 NVIDIA RTX GPU 的 PC 上构建 XR 应用程序时可以体验到的三大好处。

使用高保真度模型、几何图形和材质

大多数开发人员创建的虚拟现实环境可以在任何平台上无缝运行。但在许多情况下,需要更高级别的图形逼真度。

VR 场景的图形质量或复杂性对体验的有效性有着巨大的影响。例如,为手术室场景进行虚拟培训或运行数字孪生是非常复杂的。这些场景中的大量物体需要只有 PC 才能提供的计算机能力。

通过使用 GPU 创建这些复杂的环境,您可以将图形体验提升到新的水平。在 PC 上开发应用程序可以实现更高的保真度和信息深度,以及更大的、完全动态的环境。 NVIDIA RTX 提供了速度、性能和海量内存的组合,使 VR 应用程序能够在真实感环境中轻松处理大型复杂模型。

例如, Brightline 的开发人员使用场景生成器创建了一个多用户、动态的培训系统。由于内容的完全动态性和讲师驱动性,以及环境的真实性, Brightline 的团队能够使用 NVIDIA RTX ,将更多的时间集中在功能性和准确性上,而在优化和图形快捷方式上花费更少的时间,以在移动设备上可用的适度计算上达到 VR 帧速率。

Brightline 通过无线连接使用 NVIDIA CloudXR ,允许使用准确和动态的照明进行全尺寸渲染,同时还具有 AIO 设备提供的无线自由和内外跟踪功能

Brightline 首席创意技术专家 Jason Powers 表示:“借助 NVIDIA CloudXR ,我们能够在边缘利用 NVIDIA RTX GPU ,因此,使用 AIO 耳机或其他资源受限设备的用户可以体验到一个精确照明的动态世界。”。

使用从反射到折射的高质量照明创建图形

通过充分利用最新的 GPU 、 SDK 和 API ,您可以开发具有最高视觉逼真度的应用程序。您可以使用高级技术(如 NVIDIA DLSSNVIDIA RTXGI )通过实时光线跟踪创建具有真实照明、难以置信的反射和精确阴影的 XR 环境。

团队还可以使用基于物理的渲染( PBR )着色器和材质,使用诸如凹凸贴图、环境光遮挡和粗糙度贴图等技术,为生活带来更精细的细节。通过 NVIDIA RTX 和 NVIDIA CloudXR ,这些 XR 体验可以从云端进行流式传输,因此您不必担心用户从较旧的工作站运行体验。

许多开发人员已经在使用这些技术来实现高质量的图形。例如, Agile Lens 的团队依赖于虚幻引擎等强大的引擎,它为 PC VR 体验提供了高级功能。在 ViveCon 的一个项目中, Agile Lens 为 Vive Focus 3 AIO 设备构建了 MetaHuman 演示。该项目包括大量的工作,以开发一种使角色和剧院环境看起来和运行良好的方法。但当他们使用 NVIDIA CloudXR 时,团队可以很容易地回到数字人和环境的最高质量版本。他们展示了两种体验:一种是通过本地网络连接到现场的台式电脑上运行,另一种是从云端无线传输。没人能把这两个人区分开来。

“从观众的角度来看,在虚幻引擎 5 中使用 RTXGI 和 DLSS 在高保真环境中体验真人模拟的 MetaHumans 是一次令人惊叹的体验,” Agile Lens :沉浸式设计首席执行官 Alex Coulombe 表示。“在开发者方面,我们可以自由地知道,每一个观看该节目的人都会从一台配有 NVIDIA RTX A6000 的云虚拟机的完美副本中获得他们的体验,这意味着强大的配置是唯一一个必须进行测试的配置,任何人都不会被限制在 10 年前的笔记本电脑上运行体验。”

视频 1 :在 Quest 和桌面 VR 上运行的虚幻引擎 5.1 相同的 Nanite 地图(来源: Agile Lens )

开发具有增强的基于 AI 的交互的环境

结合 AI 和 XR ,用户可以在沉浸式环境中进行交互,就像在现实世界中一样。今天的开发人员正试图准确地表示沉浸式环境,并使交互尽可能自然,以提高用户的舒适度和生产力。

Aurora 项目是专门构建的 NVIDIA 平台的一个例子,其中人工智能驱动的虚拟辅助将集成在 XR 环境中。用户还可以与现实的 AI 化身进行交互,以获得更具吸引力的交互体验。借助 AI 技术, 3D 角色可以看到、听到、理解和与人交流。使用 NVIDIA Omniverse Avatar Cloud Engine ( ACE )等解决方案,您可以轻松定制和部署交互式化身。

Omniverse ACE 是一套云原生 AI 微服务,可以更轻松地大规模构建和部署智能虚拟助理和数字人。这些交互式化身可以为游戏、娱乐、交通和酒店等行业的组织设计,使团队能够增强现有工作流程并打开新的商机。

未来,基于 AI 的内容将在 XR 体验中变得更加突出。从合成数据生成到图像识别,人工智能将帮助您构建充满物理精确细节和照片级真实感图形的沉浸式内容。新技术将使人工智能能够更好地理解真实世界的内容,从而为虚拟世界创建合成版本。

GTC 了解更多信息,将于 3 月 20-23 日举行。注册是免费的。加入我们,了解 NVIDIA CloudXR 、 NVIDIA RTX 和其他技术如何用于开发 XR 应用程序。

您对 NVIDIA CloudXR 有早期访问反馈吗?请在 CloudXR 论坛上与我们的工程师分享。

特色图片:布罗克曼歌剧院,由 Agile Lens 和 Fisher Dachs Associates 提供

 

Tags