内容创建/渲染

借助 NVIDIA ACE 打造逼真的数字人物 (现已正式发布)

NVIDIA ACE 是一套利用生成式人工智能实现数字人如生的技术,现已正式面向开发者提供,这些推理微服务封装为 NVIDIA NIM,使开发者能够为游戏、客户服务、医疗健康等领域提供高质量的自然语言理解、语音合成和面部动画。

NVIDIA 还推出了 ACE PC NIM 微服务,可在超过 1 亿台 RTX AI PC 和笔记本电脑的安装基础上进行抢先部署。

A workflow diagram showing NVIDIA ACE NIMs for PC and Cloud inference.
图 1. NVIDIA ACE NIM 针对 PC 和云推理进行了优化

ACE 现已可用于生产部署 

领先的游戏和平台开发者正在彻底改变各行各业的实时角色交互。许多公司,例如 Aww Inc、Dell Technologies、Gumption, Hippocratic AI、Inventec、OurPalm、Perfect World Games、Reallusion,ServiceNow、SoulBotix、SoulShell 和 Uneeq 正在采用 ACE 并将其集成到其平台和应用程序中。

视频 1. NVIDIA ACE 让数字人能够以类似人类的方式进行查看、理解和交互
视频 2.Uneeq 利用 NVIDIA Audio2Face NIM 制作逼真的面部动画

为了帮助开发者更轻松地构建数字人,NVIDIA ACE 24.06 在我们的数字人技术套件中全面推出了许多组件,包括 NVIDIA RivaNVIDIA Audio2Face 和 NVIDIA Omniverse RTX。这些组件可以通过 NVIDIA AI Enterprise 获得。

微服务包括 NVIDIA NGC 目录 和 NVIDIA ACE GitHub 库,涵盖以下内容:

  • Riva ASR 2.15.1添加了一个新的英语模型,具有更高的语音识别质量和准确性。
  • Riva TTS 2.15.1改进了德语、欧洲西班牙语、拉丁美洲西班牙语、普通话和意大利语的语音合成。此外,还包括测试版 基于流的 P-Flow 模型,这是一种快速高效的模型,可以使用很少的数据来适应新的语音。
  • Riva NMT 2.15.1添加了一个新的 15 亿参数的任意到任意翻译模型。
  • Audio2Face 1.011 在运行时添加了更多的 Blendshape 自定义选项,支持更高的音频采样率,并通过 Metahuman 角色提高了唇部同步和面部性能质量。
  • Omniverse 渲染器微服务 1.0.0新增了新的动画数据协议,以及 gRPC 和 HTTP 端点。
  • 动画图形微服务 1.0.0 增加了对虚拟人物位置和面部表情动画的支持。
  • ACE 智能体 4.0.0 添加了语音支持,自适应检索增强生成、Colang 2.0 支持和预构建支持,例如检索增强生成工作流程。

先行访问 微服务包括以下内容:

  • Nemotron-3 4.5 B SLM 0.1.0专门为设备上推理而设计,并包含 INT4 量化,以尽可能减少视频随机存取存储器(VRAM)的使用。
  • 实时语音肖像 0.1.0使用音频将人像照片制作成动画,并支持唇部同步、闪烁和头部姿势动画。
  • VoiceFont 1.1.1 可以降低实时用例的延迟,并且跨所有 GPU 支持 4 个并发批处理。

开发者工具和工作流程 

为了帮助开发者轻松集成和部署 ACE 技术,NVIDIA ACE 提供了新的工作流程和开发者工具,包括在 GitHub 上的资源。

我们拥有 Kairos 游戏参考工作流程,其中包括适用于虚幻引擎 5 的 Audio2Face 插件和配置示例。

视频 3.Perfect World Games 使用 NVIDIA Audio2Face 实现准确的英语和普通话流畅度

我们拥有 NVIDIA Tokkio 客户服务参考工作流程,其中包括数字人配置器工具、ACE 代理快速入门脚本、Helm 图表、默认动画制作流程屏幕、模板场景和示例。

视频 4.Hippocracy AI 医疗健康代理借助 ACE NIM 微服务更好地连接患者

开发者工具还包括:

  • 统一云服务工具 2.5 简化了 NVIDIA 云函数应用程序的部署。
  • 虚拟形象配置器 1.0.0 添加了新的基础虚拟形象、发型样式和服装选择选项。

ACE NIM 微服务登陆 RTX AI PC

除了用于数据中心的 NIM 之外, NVIDIA 还在 ACE NIM 微服务中推出了 Nemotron-3 4.5 B,这是我们首款小型语言模型 (SLM),可在设备上运行,其准确性媲美在云中运行的大型语言模型 (LLM)。

Nemotron-3 现已推出 45 亿 SLM,现在可以抢先体验。Audio2Face 和NVIDIA Riva 语音识别 设备上模型即将推出。

更新版本 隐蔽协议技术演示Inworld AI 使用 Audio2Face 和 语音转文本通过本地 在 GeForce RTX PC 上 运行。

视频 5.Covert Protocol,这是一项创新技术演示,可让 AI 角色如生

入门指南 

开始您的旅程,通过NVIDIA ACE,即时评估我们的直接通过浏览器访问 ACE NIM,或通过在完全加速的堆栈上运行的 API 端点。

利用我们最新的 工具和工作流程 加速集成。申请抢先体验微服务,了解 ACE 如何改变您未来的工作流程。

对于寻求基于 ACE 的端到端数字人解决方案或定制开发的企业,请联系 ACE 服务交付合作伙伴(NVIDIA 合作伙伴网络的一部分),包括 ConvaiInworld AIData MonstersQuantiphiSoulshellTop Health Tech 以及 UneeQ

如果您有关于数字人技术的问题或反馈,请访问我们的 数字人论坛

 

Tags