内容创建/渲染

借助 NVIDIA Maxine 体验实时音频和视频通信

 

我们的 NVIDIA Maxine 开发者平台通过为开发者和企业提供各种低代码实施方案,重新定义了视频会议和编辑。其中包括 GPU 加速的 AI 微服务、SDK 和 NVIDIA 托管的 API 端点,用于实时 AI 增强音频和视频流。

最新版本的 Maxine 开发者平台带来了语音字体功能的抢先体验、实时肖像视频的改进,以及 Maxine 眼神交流功能的升级。此外,Video Live Portrait 和 Voice 字体功能现已在 NVIDIA NGC 目录 中提供。您现在可以在 NVIDIA 加速的云基础设施上,体验 Maxine 预训练的生成式 AI 模型的实际应用。

NVIDIA AI 基础模型 Maxine 等公司展示了企业现在如何连接其应用,以读取和集成 NVIDIA Foundations API 端点,并快速创建和部署性能优化的 AI 模型,同时降低 TCO。

NVIDIA Maxine Live Portrait webpage as seen on NVIDIA AI Foundation Models.
图 1.您现在可以体验 NVIDIA Maxine 实时肖像和语音字体

Maxine 团队为精选合作伙伴提供了机会,提前体验并反馈 Maxine 全新的 Studio Voice 功能和由语音驱动的 Live Portrait 功能。欲了解更多信息,请访问 Maxine 微服务抢先体验计划Maxine SDK 抢先体验计划

“借助 Maxine 开发者平台,您现在可以在 NVIDIA AI 基础上体验先进的 Maxine 功能,”Maxine 开发者平台工程总监 Rochelle Pereira 说,“您可以选择在 CSP 或 NVIDIA DGX 云 上进行部署,并选择您的集成接触点,从微服务容器到 SDK 库,甚至是随时可以集成的 NVIDIA AI 基础模型端点,使得在应用程序工作流程中增强实时音频和视频通信变得更加容易。”

新功能亮点

NVIDIA Maxine 可在视频会议、直播和离线视频中为演讲者提供清晰的沟通和更高的存在感。Maxine 的先进 AI 模型可打造出可通过标准麦克风和摄像头实现的高质量效果。

自然的眼球运动

新制作的 Maxine Eye Contact 现在在视线重定向和精细控制方面具有更流畅的过渡,能够实现更自然的眼部动作。开发者可以通过 Maxine 抢先体验计划 接入此技术,并可结合 NVIDIA AI Enterprise 进行开发。

2D 照片动画

最新的 Maxine 版本还改进了视频驱动的 Live Portrait,包括提高稳健性和背景稳定性。Maxine Live Portrait 一直是游戏规则的改变者,支持由视频驱动的 2D 照片动画。这个新的 Maxine 版本还引入了语音驱动的 Live Portrait,将语音作为一种新的驾驶模式。

现在,您可以使用语音为 2D 照片赋予动画效果,即使在无法实时传输视频流的条件下,也能营造出一种真实的存在感。NVIDIA Riva 的语音驱动实时肖像和 NVIDIA Maxine 的语音字体,为 2D 动画领域带来了新的可能性。

语音驱动角色

NVIDIA Maxine 视频和语音实时人像动画 AI 微服务是不想在摄像机上出现的任何人的理想选择。使用风格化或逼真的肖像照片为个人或公司创建独特的角色。语音驱动的实时人像可供选定的合作伙伴反馈。

视频 1.使用语音实时制作 2D 肖像动画,无需网格或索具

语音自定义

借助新的 Maxine 语音字体功能,生成式 AI 模型现可在 Maxine 抢先体验计划 中使用。您可以根据所需的音色定制语音,为品牌生成独特的语音,或复制您的语音以与其他翻译微服务一起使用。例如,这使您能够使用自己的语音用不同的语言说话。该功能可以将音频样本转换为数字语音,只需 30 秒的参考音频。

查看以下示例,体验语音字体。

原点音频示例:

参考音频示例:

语音字体输出,将参考音频语音应用到原始音频:

最新的 NVIDIA Maxine AI 增强功能也可提供给选定的开发合作伙伴以获取反馈。借助 Studio Voice,您可以使用具有高端 Studio 麦克风特性的廉价麦克风增强录制效果。Studio Voice 消除了由低质量麦克风引起的语音频率降低。此外,使用预训练的神经网络添加了动态范围和带宽扩展等特性,从而为生成的音频提供丰富而生动的声音。

通过以下示例抢先预览 Studio Voice:

基本麦克风上的输入语音:

Studio Voice 输出:

总结

借助 NVIDIA Maxine,您可以使用 AI 增强音频和视频实时通信。最新的 Maxine 版本通过 NVIDIA AI Enterprise 提供企业级支持和生产就绪型工具,包括 NVIDIA Triton 推理服务器 等。欢迎 试用最新的 NVIDIA Maxine 功能

如果您想抢先体验最新的 NVIDIA Maxine 功能并提供反馈,请申请Maxine 微服务抢先体验计划Maxine SDK 抢先体验计划。如果您希望就尚未发布的语音驱动的 Live Portrait 或 Studio Voice 提供反馈,请通过 gjones@nvidia.com 联系 Maxine 产品管理的 Greg Jones。

您还可以通过参与 NVIDIA Maxine 和 NVIDIA Broadcast 应用调查,帮助我们改进即将发布版本中的 Maxine 功能。

 

Tags