黑帽SEO

科学家成功解码脑电波 AI直接从大脑中合成语音

大脑活动能够解码成语音了。

说话似乎是一项毫不费力的活动,但它其实是人类最复杂的动作之一。说话需要精确、动态地协调声道发音器官结构中的肌肉——嘴唇、舌头、喉部和下颌。当由于中风、肌萎缩侧索硬化症或其他神经系统疾病而导致言语中断时,丧失说话能力可能是毁灭性的。

来自加州大学旧金山分校的科学家创造了更接近能够恢复说话功能的脑机接口(brain–computer interface, BCI)。

脑机接口旨在帮助瘫痪患者直接从大脑中“读取”他们的意图,并利用这些信息控制外部设备或移动瘫痪的肢体,这项技术目前能够使瘫痪的人每分钟最多能打出8个单词,而加州大学旧金山分享的研究人员开发了一种方法,使用深度学习方法直接从大脑信号中产生口语句子,达到150个单词,接近正常人水平!

这项研究发表在最新一期《自然》杂志上,作者为Anumanchipalli以及华裔科学家Edward Chang等人。

科学家成功解码脑电波 AI直接从大脑中合成语音

每分钟能够生成150单词,接近正常人类水平

加州大学旧金山分校的研究人员与5名志愿者合作,志愿者们接受了一项被称为“颅内监测”的实验,其中电极被用于监测大脑活动,作为癫痫治疗的一部分。

许多癫痫患者的药物治疗效果并不好,他们选择接受脑部手术。在术前,医生必须首先找到病人大脑中癫痫发作的“热点”,这一过程是通过放置在大脑内部或表面的电极来完成的,并监测明显的电信号高峰。

精确定位“热点”的位置可能需要数周时间。在此期间,患者通过植入大脑区域或其附近的电极来度日,这些区域涉及运动和听觉信号。这些患者一般会同意利用这些植入物进行额外的实验。

ECoG电极阵列由记录大脑活动的颅内电极组成

ECoG电极阵列由记录大脑活动的颅内电极组成

此次招募的五名志愿者同意测试虚拟语音发生器。每个患者都植入了一两个电极阵列:图章大小的、包含几百个微电极的小垫,放置在大脑表面。

实验要求参与者背诵几百个句子,电极会记录运动皮层中神经元的放电模式。研究人员将这些模式与患者在自然说话时嘴唇,舌头,喉部和下颌的微小运动联系起来。然后将这些动作翻译成口语化的句子。

参与的志愿者大脑中的电极阵列位置

参与的志愿者大脑中的电极阵列位置

实验要求母语为英语的人听这些句子,以测试虚拟语音的流畅性。研究发现,大约70%的虚拟系统生成的内容是可理解的。

最终,这套新系统每分钟能够生成150单词,接近自然讲话的语速水平。而以前基于植入物的通信系统每分钟可以生成大约8个单词。

技术细节:两阶段解码方法

在这项工作中,研究人员使用了一种叫做高密度皮层脑电图的技术来跟踪志愿者说话时大脑中控制言语和发音器官运动的区域的活动,志愿者们被要求说了几百句话。

为了重建话语,Anumanchipalli等人不是将大脑信号直接转换为音频信号,而是使用一种两级解码的方法。他们首先将神经信号转换为声道发音器官运动的表示,然后将解码的运动转换为口语句子,如图1所示。两次转换都使用了递归神经网络——一种人工神经网络,在处理和转换具有复杂时间结构的数据时特别有效。

图1:语音合成的脑机接口

图1:语音合成的脑机接口

在上图A中,以前的语音合成研究采用的方法是使用脑电图(ECoG)设备监测大脑语音相关区域的神经信号,并尝试将这些信号直接解码合成语音,使用一种称为递归神经网络(RNN)的人工神经网络;

上图B中,Anumanchipalli等人开发了一种不同的方法,RNN被用于两阶段解码。其中一个解码步骤是将神经信号转换成声道发声器官(红色)的预估运动,涉及到语音生成的解剖结构(嘴唇、舌头、喉部和下颌)。为了在第一个解码步骤中进行训练,作者需要每个人的声道运动与他们的神经活动关联起来的数据。

因为无法直接测量每个人的声道运动,Anumanchipalli等人构建了一个RNN来预估这些运动,其训练数据是之前收集的大量声道运动数据和语音录音。这个RNN产生的声道运动估计足以训练第一个解码器。第二个解码步骤将这些估计的动作转换成合成语音。Anumanchipalli和他的同事的两步解码方法产生的口语句子的失真率明显低于直接解码方法获得的句子。

科学家成功解码脑电波 AI直接从大脑中合成语音

本文链接:http://annalisanist.com/redian/495.html
赞 ()