说话似乎是一项毫不费力的活动，但它其实是人类最复杂的动作之一。说话需要精确、动态地协调声道发音器官结构中的肌肉——嘴唇、舌头、喉部和下颌。当由于中风、肌萎缩侧索硬化症或其他神经系统疾病而导致言语中断时，丧失说话能力可能是毁灭性的。
来自加州大学旧金山分校的科学家创造了更接近能够恢复说话功能的脑机接口，旨在帮助瘫痪患者直接从大脑中“读取”他们的意图，并利用这些信息控制外部设备或移动瘫痪的肢体，这项技术目前能够使瘫痪的人每分钟最多能打出8个单词，而加州大学旧金山分享的研究人员开发了一种方法，使用深度学习方法直接从大脑信号中产生口语句子，达到150个单词，接近正常人水平！
这项研究发表在最新一期《自然》杂志上，作者为Anumanchipalli以及华裔科学家Edward Chang等人。
加州大学旧金山分校的研究人员与5名志愿者合作，志愿者们接受了一项被称为“颅内监测”的实验，其中电极被用于监测大脑活动，作为癫痫治疗的一部分。许多癫痫患者的药物治疗效果并不好，他们选择接受脑部手术。在此期间，患者通过植入大脑区域或其附近的电极来度日，这些区域涉及运动和听觉信号。这些患者一般会同意利用这些植入物进行额外的实验。
实验要求参与者背诵几百个句子，电极会记录运动皮层中神经元的放电模式。研究人员将这些模式与患者在自然说话时嘴唇，舌头，喉部和下颌的微小运动联系起来。然后将这些动作翻译成口语化的句子。
最终，这套新系统每分钟能够生成150单词，接近自然讲话的语速水平。在这项工作中，研究人员使用了一种叫做高密度皮层脑电图的技术来跟踪志愿者说话时大脑中控制言语和发音器官运动的区域的活动，志愿者们被要求说了几百句话。
为了重建话语，Anumanchipalli等人不是将大脑信号直接转换为音频信号，而是使用一种两级解码的方法。他们首先将神经信号转换为声道发音器官运动的表示，然后将解码的运动转换为口语句子。
因为无法直接测量每个人的声道运动，Anumanchipalli等人构建了一个RNN来预估这些运动，其训练数据是之前收集的大量声道运动数据和语音录音。这个RNN产生的声道运动估计足以训练第一个解码器。第二个解码步骤将这些估计的动作转换成合成语音。Anumanchipalli和他的同事的两步解码方法产生的口语句子的失真率明显低于直接解码方法获得的句子。
最终，反映正常运动功能的“仿生”方法可能在复制自然语言典型的快速、高精度通信方面发挥关键作用。
在脑机接口（BCI）研究中，包括新兴的语音脑机接口领域。然而，在通往临床可行的语音脑机接口的道路上仍有许多挑战。重构语音的可理解性仍远低于自然语音，脑机接口能否通过收集更大的数据集并继续开发底层的计算方法来进一步改进还有待观察。因此，基于这些方法的脑机接口不能直接应用于无法说话的人。但是Anumanchipalli和他的同事们发现，当志愿者在不发声的情况下模仿语音时，语音合成仍然是可行的，尽管语音解码的准确率要低得多。
值得注意的是，在首次对脑机接口进行概念验证研究以控制健康动物的手臂和手的运动之后，人们对这种脑机接口在瘫痪患者身上的适用性提出了类似的问题。随后的临床试验令人信服地证明，使用脑机接口，人类可以快速交流、控制机械臂、恢复瘫痪肢体的感觉和运动等。
Edward Chang博士表示，这次在Nature上的研究，“我们通过解码大脑活动提升语音的清晰度，模拟的语音比从大脑中提取声音表示的合成语音更准确、更自然。”
最后，这些令人信服的概念验证证明了不能说话的个体也能实现语音合成，结合脑机接口在上肢瘫痪患者中的快速进展，研究人员认为应该大力考虑涉及言语障碍患者的临床研究。随着持续的进步，希望更多有语言障碍的人能够重新获得自由表达思想的能力，并重新与周围的世界联系起来。
