计算机视觉/视频分析

使用模块化、OpenUSD 加持的 Omniverse 版本加速 3D 工作流程

最新的NVIDIA Omniverse版本可基于Omniverse Kit 105套件提供一系列令人振奋的新功能,使开发者能够更加轻松地开始构建3D模拟工具和工作流。

基于通用场景描述(即OpenUSD)、NVIDIA RTX和AI技术打造的Omniverse使用户能够创建出先进实时3D模拟应用,用于工业数字化和AI感知场景。这个完全可组合的平台可从工作站扩展到云,因此只需少量编码工作就能构建先进、可扩展的解决方案。

在SIGGRAPH 2023上的NVIDIA主题演讲中,NVIDIA首席执行官黄仁勋发布了ChatUSD和RunUSD。

ChatUSD 是一个大型语言模型(LLM)媒介,可使用文本生成Python-USD 代码脚本和回答USD知识问题,有助于直接在Omniverse中简化并加速USD 开发任务。

RunUSD是一个Cloud API,可通过检查上传文件与OpenUSD版本的兼容性,将OpenUSD文件转换为完全路径跟踪渲染的图像,并使用Omniverse Cloud生成渲染。NVIDIA OpenUSD开发者计划中的开发人员目前可以使用该API的演示。

这些OpenUSD投入是在NVIDIA与皮克斯、Adobe、苹果、Autodesk共同成立OpenUSD联盟(AOUSD)的基础上进一步扩大的。

使用Omniverse Kit构建基于 OpenUSD 的应用

Omniverse Kit是开发工具套件和引擎,用于在Omniverse上构建基于OpenUSD的应用和扩展程序。这套功能强大、可扩展的 SDK是使用 Omniverse构建各个应用、连接器和扩展程序的基础。

Convai最近使用Omniverse Kit开发了一个扩展程序,使创作者可以在数字孪生环境中添加角色,这些角色可以提供环境和物体的相关信息,也可以充当导游或虚拟机器人。Cesium for Omniverse是使用Kit构建的一个支持3D Tiles的扩展程序,后者是一项在虚拟世界(包括OpenUSD支持的虚拟世界)中传输海量地理空间数据集的开放标准。

echo3D是一个可帮助开发者和企业构建并部署3D应用的3D资产管理云平台。它使用Kit开发了一个扩展程序,可将3D资产远程添加到Omniverse项目中,并通过云进行更新。

Alpha3D是一个由生成式AI支持的平台,可在几分钟内将2D图像和文本提示转化成3D模型。借助使用Omniverse Kit开发的Alpha3D扩展程序,3D模型在渲染完成后可自动导入创作者的Omniverse面板。

更高的效率更好的用户体验

通过注册进入全新Kit Extension,用户便可开始在Omniverse上进行构建。Kit Extension是一个用于访问、共享和管理扩展程序的中央存储库。开发者可以在这里浏览600[Admin1] 多个核心扩展程序,而且只需下载一次,就可以在任何地方使用。扩展程序能够以多种方式组合成工作流和体验,带来新的可能性。

A screenshot of a computer

Description automatically generated

1.  注册 Omniverse Kit Extension

Kit 105加入了一个全新的“欢迎窗口”,大大提升了应用的启动体验。用户可以从能够自定义的欢迎窗口快速访问最近的文件、示例和学习资源,并通过定制化扩展加载功能快速启动项目。

在Omniverse Kit 105中启动想要的体验后,能看到用户界面渲染有了显著的改善。新的渲染优化功能充分利用NVIDIA RTX GPU中NVIDIA Ada Lovelace架构的增强功能,并将DLSS 3.0技术完全集成到Omniverse RTX Renderer中。此外,全新的AI降噪器还实现了对大规模工业场景的实时4K路径追踪。

渲染优化在框架层面实现,无需对现有代码进行任何修改即可自动提升性能。随着widget光栅模式的引入,渲染成本最多可降低20倍。

更加强大的模块性与性能

使用Omniverse Kit的开发者一直对其极强的模块性(以Kernel为基础,通过扩展程序添加特定的功能,并将应用、服务和扩展程序组合成完整的解决方案)赞不绝口。借助Kit 105,这种模块性也扩展到了消费领域。

现在,用户可通过Omniverse Launcher使用Kit Kernel,以轻松访问Kit可执行程序、Python和其他重要的核心构件。

目前通过注册Omniverse Extension即可获得Kit扩展程序,用户可根据需求将这些模块下载到一个共享位置,从而大幅缩小软件包。当多个应用使用同一版本的扩展程序时,无论是在开发过程中还是对于最终用户而言,只需下载一次即可。这样,NVIDIA和开发者社区就可以在无需新应用版本的情况下,经常更新扩展程序,提供无缝衔接的体验。

利用新的空间框架构建沉浸式工作流

Kit应用的开发者现在可以使用新的Omniverse空间框架,轻松地将扩展现实(XR)集成到3D工作流中。通过该框架,可以轻松地将传送、操作、导航等XR功能集成到现有流程中。

该空间框架的主要功能包括:

  • 用于添加沉浸式体验和基本XR功能的新工具:简化并提高了设计评审和工厂规划流程的效率。
  • 将RTX光线追踪和Omniverse连接到SteamVR、OpenXR和NVIDIA CloudXR
  • 支持空间计算平台和头显:为基于 OpenUSD 的空间计算平台构建内容、体验和应用。

如要进一步了解该空间框架以及支持的平台和头显,参见由RTX赋能的空间框架通过USD实现全光线追踪XR流程

2. 全新Omniverse空间框架使用户能够轻松地将XR集成到 3D工作流中。

体验Omniverse Kit

用户可在更新后的Omniverse基础应用中体验Omniverse Kit 105的所有新功能和性能改进。这些应用是完全可自定义的参考应用,可以进行复制、扩展或增强。

  • Omniverse USD Composer使3D用户能够组装基于OpenUSD的大型场景。专门开发优质360° HDRi环境的CGI.Backgrounds在USD Composer中提供了多个超高清HDRi贴图。
  • Omniverse Audio2Face提供对只需通过音频文件即可创建逼真面部动画和手势的生成式 AI 应用编程接口(API)的访问。现在还添加了多语种支持和全新女性基础模型。

这些应用可作为模板用于构建用户自己的Kit应用。用户可通过解构和添加示例应用中的功能,来构建自定义应用。

Omniverse上开始构建

独立开发者或企业开发人员可以在Omniverse平台上轻松构建和销售自己的扩展程序、应用、连接器和微服务。在Omniverse中,用户可以探索各种工具和代码示例。如要开始构建,请免费下载Omniverse并访问Omniverse开发者资源

Tags