科学家通过训练神经假体植入物来解码一名不会说话的中风幸存者的双语大脑活动,使其能够用西班牙语和英语进行交流。
这项研究发表在《自然生物医学工程》上,来自加利福尼亚大学旧金山分校教授 Dr. Edward Chang 博士的实验室,它建立在他 2021 年对同一名患者进行的开创性研究的基础上,该研究证明了将严重瘫痪患者的大脑活动转化为文字的功效。
在最新的研究中,神经假体解码了同一个人——Pancho——的大脑活动,并使用双语人工智能模型将大脑活动转化为西班牙语或英语单词,这取决于 Pancho 打算用哪种语言交流,然后,他的单词和句子被投影到计算机屏幕上。
这两项研究都为无法说话或依赖触摸屏或眼动监测设备进行交流的人提供了远不那么繁重的交流承诺。这些结果也是在潘乔身上神经假体最初植入四年后得出的,突显了该技术的寿命及其潜在的长期影响。
这项研究的一个关键组成部分是 Pancho 的双语能力。为了区分他打算用西班牙语和英语进行的交流,研究人员使用了一个用两种语言训练的人工智能模型来跟踪 Pancho 大脑中负责发音的部分的神经活动。
研究人员使用NVIDIA cuDNN-加速的 PyTorch 框架和NVIDIA V100 GPUs。神经假体植入 Pancho 的大脑表面,但不植入大脑内部,用于区分西班牙语或英语交流的大脑活动。
当潘乔先用西班牙语然后用英语阅读并试图发音单词时,科学家们记录了他的大脑活动,并训练模型将西班牙语单词的大脑活动翻译成英语单词,反之亦然。或者,正如他们在论文中所写,他们使用一种语言记录的神经数据来改进另一种语言的解码。
在对潘乔的大脑活动进行训练后,人工智能模型以 75%的准确率解码了他的句子。
随着时间的推移,该模型使研究人员和 Pancho 能够进行无脚本的对话。该研究的主要作者 Alexander Silva 告诉《自然》杂志,“在我们第一次做这些句子后,有几分钟我们都在微笑。”
这项研究的一个重要发现是,它对理解大脑在试图通过语言交流时的功能有着重要意义。早期的神经科学研究表明,不同语言的交流起源于大脑的不同部分,但是这项研究表明,不同语言的语音产生源于大脑的同一区域。
这项研究还强调了生成性人工智能模型如何随着时间的推移学习、改进和适应新的训练数据,在将大脑活动准确转化为口语方面发挥关键作用。
阅读《自然生物医学工程》杂志上的完整研究论文。
阅读张博士的原创研究,关于将脑电波转化为文字:将脑电波转化为文字。
在《自然》杂志的文章中了解更多关于张博士的研究。
使用GitHub上的可用数据重新创建研究中的主要图形。