趣文网,分享全网好句子、好文章!

脑波转语音 每分钟150词 华裔教授研发“不开口就能说话”系统

时间:2023-07-04 02:54:01

相关推荐

脑波转语音 每分钟150词 华裔教授研发“不开口就能说话”系统

天下网商记者 贡晓丽

想象一下,如果有一天你醒来发现全身动弹不得,只能眨眨眼,你会怎么办?

法国时尚杂志ELLE主编鲍比就经历了这种事情。鲍比因为突如其来的中风,全身肌肉瘫痪,进入了完全闭锁的状态,眨动左眼是他唯一和外界交流的方式。不可思议的是,鲍比竟然靠眨眼睛“写”出了一本回忆录《潜水钟与蝴蝶》,同名电影2008年获金球奖。而他写书的方法,是“别人指字母,指对了他就眨眼”。

如今,加州大学旧金山分校神经外科华裔教授Edward Chang及同事开发出来的一套人类语音合成系统,或许可以帮助像鲍比一样大脑和身体损伤的病人,使他们不必开口,就可以与正常人语音交流,彻底从束缚身体的“潜水钟”里解脱出来。该项最新成果已经于4月25日发表在Nature 杂志。

如何做到

其实像鲍比这样思维被封闭在瘫痪身体中的病人不在少数,著名物理学家霍金就是类似的症状,他患有肌萎缩性脊髓侧锁硬化症(ALS),也就是2014年夏天流行的“冰桶挑战”提醒公众关注的“神经渐冻症”。

中国有一位年轻的神经渐冻症病人王甲,他也用“眨眼睛”的方式写了本书《人生没有假如》。

脑波转语音已经不是什么新鲜事了,大脑控制打字的脑机接口技术,依赖于测量头部或眼睛的残余非语言运动,或者依赖于控制光标以逐个选择字母并拼出单词,虽然能够交流,但速度太慢了。

已有的语音合成脑机接口每分钟只能生成8个单词,Edward Chang开发的新装置每分钟能生成150个单词,接近人类的自然语速。

这套将脑活动转化为语音的解码器,通过解码与人类下颌、喉头、嘴唇和舌头动作相关的脑信号,并合成受试者想要表达的语音。

说话这件事其实并没有想象中那么简单,看似只是动动嘴,事实上却是对声道咬合结构精准、快速的多维度控制。

研究人员选择了深度学习方法。

为了进行试验,专家们招募了五名在医院接受癫痫治疗的志愿者。

神经解码的第一步是从高密度皮层活动中提取相关信号特征。志愿者们说了上百句话,而通过植入性大脑皮层电图(ECoG),研究人员可以跟踪控制语言和发音的大脑区域的活动,并将这些活动与志愿者说话时嘴唇、舌头、喉部和下颚的微妙运动联系起来,然后将这些运动学特征翻译成口语句子。

研究人员采用bLSTM(bidi-rectional long short-term memory)循环神经网络来破译ECoG信号表达的运动学表征。接着用另外一个bLSTM解码先前破译的运动学特征中的声学特征。

声学特征是能从语音波形中提取的频谱特征,因此用解码后的信号就可以合成出语音波形。在这个过程中,两个神经网络都会被投喂训练数据,以提高它们的解码性能。

对比志愿者说话的频谱图和大脑信号合成的频谱图,可以看到它们已经非常接近了。研究者们让以英语为母语的人听了听合成的语音,结果表明,至少有70%的虚拟语言是可以被理解的。

临床可行的语音合成脑机接口还难以实现

脑机接口这项充满未来感的技术,在现实当中或许会最先让存在发声障碍问题的群体重新获得“说话”的能力,但在科幻电影中,脑机接口则贡献过很多更大胆的主题。

在电影《阿凡达》中,人类的思维活动可以转移给“替身”(Avatar),脑机接口系统在电影中是一台类似磁共振扫描仪的睡眠机器。

电影《超验骇客》中,神经科学家威尔遇刺病危,他的妻子因为深爱他,通过脑机接口技术把威尔的“思维”整体传送到了互联网上,电影中脑机接口被抽象为数十个植入电极和一台超级电脑。

技术当然值得期待,但现实中的这一系统要成为一个临床可行的语音合成脑机接口,还存在许多挑战。

该项试验的五位志愿者都是通过神经外科医生在颅内植入电极,来获得大脑活动的数据。而植入脑机接口又存在一个难以攻克的问题:植入电极因为神经胶质细胞的包裹而逐渐失效,无法继续记录神经细胞的放电活动。如果这个问题不能很好解决,长期植入就无法实现,每2-3年做一次手术更换电极的代价太大。除此以外,神经信号的无线传输也是个难题。

科幻与现实,从来都是相互促进、相互提供素材和灵感、相互印证。

也许有人会问,脑机接口技术最终会发展成什么水平?没人能给出答案,科幻作家刘慈欣在《三体》中提到一位面壁者希恩斯,他发明了“全息思维成像”和“思想钢印”,这或许就是终极的脑机接口技术,既能精确读出,也能精确写入,这大概可以作为脑机接口技术的理论终点,可以不断接近但永远无法达到……

本文由天下网商原创,未经授权,不得转载。

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。
显示评论内容(1)
  1. 鲁菽语2023-10-19 08:08鲁菽语[贵州省网友]210.53.71.175
    太厉害了,科技发展真是日新月异啊!
    顶2踩0
相关阅读
第一次 脑机接口可以实时读取人类语言了

第一次 脑机接口可以实时读取人类语言了

今天,Facebook 与加州大学旧金山分校UCSF发布了有关脑机接口研究的最新进展,其论文出现在了最新一期的自然杂志子刊Nature Communications上

2018-01-01

脑机接口大牛最新研究揭示人类大脑跨语言声调编码机制

脑机接口大牛最新研究揭示人类大脑跨语言声调编码机制

语言是人类最为复杂的认知功能之一,也是人类作为高级生物的决定性特质之一。不同语言之间具有极大的多样性。据估计,全世界现存大约7000种语言 ,它们

2023-09-03

现实版“读脑术”来了 把你的脑电波变成语音或文字

现实版“读脑术”来了 把你的脑电波变成语音或文字

但是,这个蹦单词的过程,实在无法与人类的正常说话过程相比

2014-01-10

《木兰辞》在英语世界的百年译介

《木兰辞》在英语世界的百年译介

作为中国乐府诗与民间传说的代表,木兰辞受到国内外文化爱好者与传播者的关注,其英语译介跨越了一个多世纪,目前已有27个公开发表的海内外译本

2011-07-16