内容创建/渲染

在 NVIDIA ACE 中使用 AI 动画和语音功能打造逼真的虚拟形象

 

NVIDIA 今日公布了 NVIDIA Avatar Cloud Engine (ACE) 一系列技术,增强了 AI 虚拟形象和数字人的真实感和可访问性。这些新的动画和语音功能实现了更自然的对话和情感表达。

开发者现在可以使用新的云 API 在应用中轻松实现和扩展智能虚拟形象,包括 自动语音识别 (ASR)文本转语音 (TTS)、神经机器翻译 (NMT) 和 Audio2Face (A2F)。

借助这些高级功能,抢先体验计划的创作者可以利用 NVIDIA 技术快速构建新一代虚拟形象体验。现在,使用 Unreal Engine 5 等一些热门渲染工具,可以更轻松地在任何地方大规模构建和部署数字人。

AI 驱动的情感动画

使用最新的 ACE AI 动画功能和微服务(包括新添加的 A2F 情感支持)构建更具表现力的数字人。现在还提供用于身体、头部和眼球运动的 Animation Graph 微服务。

对于通过云处理渲染生产或寻求进行实时推理的开发者,现在有了易于使用的微服务。A2F 质量改进包括唇部同步,为数字人带来更多的真实感。

Diagram of an NVIDIA ACE end-to-end avatar development pipeline.
图 1. NVIDIA ACE 端到端开发套件

增强的 AI 语音功能

现在支持的语言包括意大利语、欧盟西班牙语、德语和普通话。ASR 技术的整体准确性也得到了提高。ASR、TTS 和 NMT 的云 API 简化了对最新语音 AI 功能的访问。

无论您是想使用自己的语音将自定义语音应用到智能 NPC,还是在视频会议通话中随机化用户的语音,新的 Voice 字体微服务都能让您自定义 TTS 输出。这项技术可将说话者的独特音调和音量转换为参考音频,同时保持相同的节奏和声音模式。

新工具和框架

ACE Agent 是一家专业的对话管理和系统集成商,它能够提供更加流畅的端到端体验,并高效地协调微服务之间的连接。开发者还可以利用与 NVIDIA Omniverse 平台的集成,通过 NVIDIA NeMo 护栏NVIDIA SteerLM 和 LangChain 来更好地控制精确且可调节的响应。

现在,可以更轻松地在您选择的渲染器或编码环境中启动和运行这些工具。新功能包括:

  • 在 Avatar 配置器中支持 Blendshape,以轻松集成 Unreal Engine 等热门渲染器。
  • 面向 Python 用户的全新 A2F 应用程序。
  • 这是一款参考应用程序,适用于有兴趣为客户服务构建虚拟助理的开发者。

总结

这些新推出的 NVIDIA ACE 功能提高了数字人体验的质量标准。借助简化构建和部署的增强功能,开发者现在可以获得构建新一代数字人应用所需的简化配置。

想要探索尖端数字人技术?申请抢先体验

 

标签