内容创建/渲染

借助 NVIDIA ACE 和 Unreal Engine 5 实现 AI 驱动的 MetaHuman 部署简化和扩展

在 2024 年 Unreal Fest 大会上,NVIDIA 发布了适用于 NVIDIA ACE 的全新 Unreal Engine 5 设备端插件,使用户能够更轻松地在 Windows PC 上构建和部署由 AI 驱动的 MetaHuman 角色。ACE 是一套数字人技术,可提供由生成式 AI 驱动的语音、智能和动画。

开发者现在还可以在 Autodesk Maya 中访问新的 Audio2Face-3D 插件,以制作 AI 驱动的面部动画。此插件提供了一个简单、精简的界面,有助于更轻松、更快速地在 Maya 中开发虚拟形象。该插件随附源代码,因此,作为开发者,您可以深入研究并开发适用于您选择的数字内容创建(DCC)工具的插件。

NVIDIA 还构建了一个利用 Epic 的 Unreal Pixel Streaming 技术的 Unreal Engine 5 渲染器微服务。该微服务现在支持 NVIDIA ACE Animation Graph 微服务 和 Linux 操作系统的早期访问版本。Animation Graph 微服务可实现逼真且响应灵敏的角色动作,并且借助 Unreal Pixel Streaming 支持,您可以将 MetaHuman 创作流式传输到任何设备上。

借助最新的 NVIDIA ACE 进展为 MetaHuman 角色赋予生

NVIDIA ACE 虚幻引擎 5 示例项目为希望将 ACE 集成到游戏和应用的开发者提供指南。此示例项目扩展了设备上 ACE 插件的数量,包括:

  • Audio2Face-3D,用于制作唇部同步和面部动画
  • 用于生成响应的 Nemotron Mini 4B Instruct 模型。
  • 用于上下文信息的检索增强型生成(Retrieval-augmented generation,RAG)

作为开发者,您可以为自己的知识产权构建数据库,以低延迟生成相关响应,并让这些响应在 Unreal Engine 5 中无缝驱动相应的 MetaHuman 面部动画。每个微服务都经过优化,可在 Windows PC 上运行,延迟低,内存占用少。

视频 1. 开始使用 Unreal Engine 5 插件

这些新插件即将推出。 首先,请确保您下载了适当的 ACE 插件和 Unreal Engine 示例以及 MetaHuman 角色

使用 Maya ACE 插件简化 3D 动画 

Autodesk Maya 为游戏开发者和技术美工提供高性能动画功能,以创建高质量的 3D 图形。现在,您可以使用 Audio2Face-3D 插件更轻松地为任何角色生成高质量的音频驱动的面部动画。简化的用户界面使您能够无缝过渡到 Unreal Engine 5 环境。源代码和脚本高度可定制,可修改以便在其他数字内容创建工具中使用。

首先, 生成 API 密钥 或下载 Audio2Face-3D 微服务 。Audio2Face-3D 微服务是 NVIDIA NIM 的一部分,NVIDIA NIM 是一套易于使用的微服务,可加快基础模型在任意云或数据中心的部署。

接下来,确保您已安装 Autodesk Maya 2023、2024 或 2025。访问 NVIDIA/Maya-ACE GitHub 资源库,该资源库包括 Maya 插件、gRPC 客户端库、测试资产和示例场景——使用 Audio2Face-3D 进行探索、学习和创新所需的所有内容。

使用 UE5 像素流技术扩展数字人技术部署

在通过云端部署数字人技术时,我们的目标是同时覆盖尽可能多的客户。流式传输高保真角色需要大量的计算资源。NVIDIA ACE 中的最新 Unreal Engine 5 渲染器微服务增加了对 NVIDIA Animation Graph 微服务和 Linux 操作系统的早期访问支持。

Bar chart showing number of concurrent streams with Unreal Engine presets.
图 1. 使用 Unreal Engine 预设的并发流数量。请注意,抢先体验后性能可能会发生变化。

Animation Graph 是一种微服务,可与其他 AI 模型交互,为角色创建对话式工作流。它负责连接开发者 RAG 架构,同时维护上下文和对话历史记录。借助新的 UE5 像素流兼容性,您可以在云端服务器上运行 MetaHuman 角色,并通过 Web Real-Time Communication(WebRTC)将其渲染的帧和音频串流到任何浏览器和边缘设备。

开始使用 

要开始使用 Unreal Engine 5 渲染器微服务,请 申请早期访问 。了解更多关于 NVIDIA ACE 的信息,并 下载 NIM 微服务 ,开始构建由生成式 AI 提供支持的游戏角色。

 

Tags