生成式人工智能/大语言模型

使用人工智能快速生成虚拟世界的 3D 资产

为了加速 3D 世界和 元宇宙 的发展, NVIDIA 推出了许多人工智能研究项目,以帮助 creators 跨行业利用 生成人工智 打开新的可能性。

生成型人工智能将触及元宇宙的各个方面,它已经被用于 在 Omniverse ACE 让 AI 化身栩栩如生 等用例。其中许多项目,如 Audio2FaceAudio2Gesture ,从音频生成动画,已成为 Omniverse community 中广受欢迎的工具。

CES 上, NVIDIA 发布了新的生成 AI 技术,这些技术将应用于 Omniverse ,以帮助比以往更快、更容易地创建虚拟世界。这些模型既可以作为 NVIDIA 合作伙伴的第三方连接器提供,也可以作为 NVVIDIA 研究团队发布的内部 AI 项目的扩展提供 AI ToyBox

NVIDIA Omniverse 中提供的所有生成 AI 研究项目和连接器都使用合法许可和购买的数据集。

通过生成 AI 连接器和扩展加速 3D 内容创建

NVIDIA Omniverse 引入了最新、最强大的生成 AI 技术,并为第三方技术提供了连接器和扩展。

Move.ai 根据身体运动生成动画。 Move.ai 使您能够在任何地方捕捉人体运动并直接导出到 Omniverse 。

视频 1 。 NVIDIA Omniverse 中的单个拳击示例, Move.ai 运动数据为角色提供动力。

Lumirithmic 通过面部扫描生成头部的 3D 网格。该连接器使您能够通过面部扫描轻松创建电影级化身,并支持任何行业的大规模 3D 扫描。 Lumirithmic 联合创始人兼首席执行官 Gaurav Chawla 表示:“我们很高兴能够与 NVIDIA 合作,通过 Omniverse 将我们的 3D 面部扫描产品带给创作者、游戏玩家和开发者,使游戏、广告技术、元宇宙和其他应用程序获得最高质量的 3D 面部的机会民主化。”。

视频 2. Omniverse – Lumirithmic 3D 化身捕捉集成

Elevate3D 通过 360 °视频记录生成产品的真实感 3D 可视化,利用神经辐射场创建具有无与伦比视觉逼真度的 3D 网格。 Elevate3D 联合创始人 Alexandre Carlier 和 Martin Danelljan 表示:“ Omniverse 使我们能够为最广泛的工作流程和行业提供我们的技术。此外,出色的文档和开发经验使我们很高兴在平台上构建扩展。”。“这一扩展将使扫描物理对象的挑战成为过去。”

视频 3 。提升 Omniverse 的 3D 扩展

探索和实验最新的生成型人工智能研究

人工智能工作流是 Omniverse 体验的核心。这就是为什么 NVIDIA 一直在进行新的研究项目,以帮助 3D 艺术家和创作者加速他们的人工智能工作流程。这些人工智能项目中的许多都变成了广泛使用的功能,如 MachinimaNVIDIA Canvas 中的姿势估计,这些功能可以从一些 2D 笔触生成 360 度图像。

在 CES 上发布的 GET3D 是一种新的生成型人工智能模型,它从 2D 图像、文本和数字等数据中生成具有拓扑结构、丰富几何细节和纹理的 3D 形状。这些 3D 形状或纹理网格可以采取动物和人类的形式,汽车、椅子、摩托车和建筑即将出现,这使多个行业的创作者能够快速缩放其虚拟世界中内容的数量和多样性。

图 1 。 GET3D 允许您快速生成 3D 动物和其他形状和网格以填充场景。

GET3D 将在 Omniverse AI ToyBox 以及 NVIDIA 发布的现有生成 AI 研究项目(如 GANVerse3D Image2CarAI Animal Explorer )中提供。 AI ToyBox 包含所有最新的 NVIDIA AI 项目,使内容创作者能够在虚拟世界中探索新的可能性。

人工智能与元宇宙:共生关系

正如人工智能对元宇宙的扩张至关重要一样,元宇宙对人工智能的扩张也至关重要。从汽车到医疗器械,再到仓库机器人,全球行业都在由软件定义。如果没有在真实环境中进行彻底测试,这些软件定义的技术就无法开发或部署。

metaverse 中的 Digital twins 正在提供物理上精确的虚拟环境,允许开发人员比以往更快地模拟和测试软件定义技术(如智能机器人)的人工智能。在元宇宙中创建的 Synthetic data 通过允许人工智能在比以前更多的数据上进行训练,进一步加速了尖端人工智能应用程序的训练。

生成型人工智能是扩展这些数字孪生和虚拟环境的关键,这将开启人工智能和元宇宙的新时代。

开发者可以使用 Omniverse’s modular development framework 为 3D 世界构建生成人工智能工具,企业可以利用最新的生成人工智能技术,通过 NVIDIA Omniverse Enterprise 缩放数字孪生模拟。

订阅 Omniverse 电子报 在 Omniverse 中接收关于生成 AI 的更新。

访问 Omniverse Developer Resource Center 有关其他资源,请 在 Omniverse 上查看 最新教程,查看 论坛 以获得支持。加入 Omniverse 社区 与社区聊天 .

Tags