增强现实/虚拟现实

使用自然语言语音命令创建 XR 体验:Mellon 测试项目

Project Mellon 是一个轻量级的 Python 软件包,能够利用语音人工智能的重量级力量 (NVIDIA Riva) 和大型语言模型( LLM ) (NVIDIA NeMo 服务) 以简化沉浸式环境中的用户交互。 NVIDIA 在环境影响评估 GTC 2023开发人员可以开始测试 Project Mellon ,探索创建由自然语言语音命令控制的免提扩展现实( XR )体验。

正如 J · R · R ·托尔金( J.R.R.Tolkien )的《守护杜林之门》( Doors of Durin )(“说朋友的话,然后进入”)所提醒的那样,文字可以移山倒海。梅隆计划背后的基本理念是,可以以一种实用的方式利用语音人工智能和 LLM 的力量来打开大门,并在虚拟世界中做更多的事情

在 XR 中,用户界面可能复杂且难以使用,破坏了自然沉浸感,这是虚拟、混合和增强现实的本质。梅隆项目使几乎任何应用程序的开发人员,无论是在 XR 还是平板屏幕世界,都可以轻松地将自然语言理解添加到他们的软件中,作为一种新型的以人为中心的免提用户界面。

梅隆项目平台由以下部分组成:

  • 梅隆项目 SDK
  • 环境变量 Riva ( ASR 、 TTS 、 NMT )
  • NeMo 服务(也支持其他 LLM )

Project Mellon 1.0 中的主要发布功能包括:

  • 轻量级,易于集成 Python 库
  • LLM 支持自然语言理解的准确性
  • 无需特定命令训练的零样本语言模型
  • 具有对话和视觉上下文的自然语言命令支持
  • 支持询问有关命令和场景的问题,并提供自然语言回答
  • 用于理解和执行命令的简单 Python API
  • 基于 Web 的测试应用程序
  • ASR 、 TTS 、 LLM 和神经机器翻译( NMT )可以在本地或远程托管,具有较低的延迟响应时间

在〔ZGK3〕2023加入ESI集团在虚拟现实中与人工智能合作:沉浸式数字助理了解他们对动态协作 XR 环境中的团队如何从对话 AI 的使用中受益的研究

ESI 集团解决方案和技术专家 Jan Wurster 表示:“我们发现,将对话式人工智能与 NVIDIA Project Mellon 集成,可以降低协作 XR 技术的入门门槛,并使 IC.IDO Weave 中的用户体验人性化。”。“通过使用自然语音作为输入,我们的虚拟人工智能助手可以帮助团队完成复习任务、查询可用情况或发现问题,所有这些都只需用自然语言提问,而无需记住特定命令。”

开发人员今天就可以开始使用 Project Mellon 了。观看梅隆项目演示,了解如何进行设计审查、进行实时配置更改、控制机器人以及操纵相机和场景元素,所有这些都是由自然语音命令驱动的。

视频 1 。了解如何开始使用 Project Mellon 进行开发

人工智能正在改变我们与工作和工具互动的方式。通过语音人工智能和梅隆项目,开发人员可以简化用户体验并使其人性化。不再需要培训用户如何操作虚拟现实( VR )中的每一项功能。你可以跳到虚拟现实应用程序中,用自己的话来控制体验。

申请给梅隆项目一次机会.

Tags