内容创建/渲染

适用于数字人的生成式 AI 和由 AI 提供支持的全新 NVIDIA RTX 照明

NVIDIA 在 GDC 2024 大会上宣布,Inworld AI 等领先的 AI 应用程序开发者,正在使用 NVIDIA 数字人技术加速部署生成式 AI 驱动的游戏角色。此外,NVIDIA 还更新了 RTX SDK,以简化高质量游戏世界的创建。

NVIDIA 数字人技术助力新一代游戏角色

用户可将全套 NVIDIA 数字人技术或单个微服务整合到其产品中:

  • NVIDIA Avatar Cloud Engine (ACE):通过 NVIDIA Audio2Face (A2F) 提供面部动画,以及由 NVIDIA Riva 自动语音识别 (ASR) 和文本转语音 (TTS) 提供的语音支持,可以让数字人更加栩栩如生。
  • NVIDIA NeMo:一个用于开发自定义生成式 AI 的端到端框架。NeMo 使用户能够通过精确数据管护、先进自定义功能、检索增强生成和加速性能来完成企业就绪型模型。
  • NVIDIA RTX:RTX 全局照明(RTXGI)和 DLSS 3.5 等渲染技术的集合,可在游戏和应用中实现实时的路径追踪。

这些创新在由 Inworld AI 与 NVIDIA 合作完成的 Covert Protocol(秘密协议)演示中得到了展示。在该演示中,玩家可以扮演一个经验丰富的私人侦探,并在游戏中体验突破常规的 NPC 交互。

该演示使用了 OpenAI 的 ChatGPT 3.5 、ElevenLabs 文本转语音 (TTS)、Riva ASR 和 A2F 微服务,以增强 Inworld 的语言、语音和动画制作流程。Inworld 的 AI 引擎采用了多模态方法来提升 NPC 的表现,它将认知、感知和行为系统相结合,同时利用其 Unreal Engine 插件进行集成,让使用 MetaHumans 变得快速且简单。

视频 1. NVIDIA ACE | NVIDIA x Inworld AI – 在隐秘协议中突破游戏角色的界限

用户可以通过申请抢先体验计划来开启 NVIDIA ACE 的旅程,并获取正在开发的 AI 模型。有关可用模型的更多信息,请参阅 NVIDIAAPI Catalog。在该网站上,用户会发现一套易于使用、旨在加速生成式 AI 部署的微服务—— NVIDIA NIM,其适用于 Riva ASR (模型名称为 Parakeet) 和 A2F。用户可以直接通过浏览器或通过运行完全加速堆栈的 API 端点来体验和评估这些微服务。如果用户拥有 NVIDIA AI Enterprise 许可证,请下载 NIM 并在 DGX 云或任何 CSP 和私有云上部署。

对于寻求端到端数字人解决方案的游戏开发者,请联系集成 ACE 的 NVIDIA 中间件合作伙伴,包括 ConvaiInworldData MonstersQuantiphi UneeQ

有关数字人技术(包括 NVIDIA ACE)的问题或反馈,请参阅 Digital Human 论坛

AI 驱动的照明改进和更轻松的渲染集成

NVIDIA 推出了 RTX 全局照明(RTXGI)2.0 SDK,其可通过 AI 实现光线追踪的间接照明。RTXGI 的推出进一步丰富了目前已有的神经渲染技术选项:

最新的算法神经辐射缓存(NRC)是一种由 AI 驱动的解决方案,它能够实时训练场景的辐射缓存,并使用反应式照明来处理全动态场景。这种技术不需要事先为几何图形和材质烘焙静态照明,从而为要求严苛的场景提供了更出色的性能和更准确的全局照明。

为提供可扩展性,NVIDIA 推出了空间哈希辐射缓存(SHaRC),该版本无需使用神经网络即可提供与 NRC 类似的优势。它与任何支持 DirectX 或 Vulkan 光线追踪的 GPU 兼容。这是一种基于空间哈希数据结构构建的辐射缓存,专为用于路径追踪的快速且可扩展的全局照明技术而设计。

下载 NVIDIA RTXGI SDK。有关面向游戏开发者的所有 NVIDIA 技术的更多信息,请参阅游戏开发页面。

Tags