脑机接口(BCI)可以帮助失去行动或说话能力的患者恢复交流能力。迄今为止，脑机接口研究的一个主要热点是恢复身体肌肉动作技能，例如用触摸和握紧或2D电脑光标点击输入。然而，高度灵巧的行为(如手写或触摸打字)可能需要更快的通信速度。
靠意念输入汉字
此前有报道表示香港中文大学成功研发出一个“脑机界面”系统，它能将脑电波转换成繁体中文字，让全身瘫痪无法说话的病人，有机会“打开心窗”。这套系统在香港中央图书馆首次展出，吸引了大批好奇的市民。
病人戴上有16个接触面的无线脑电波接收器，盯住电脑屏幕，横竖撇捺勾五个笔画轮流闪亮，病人心里想着要写的笔画，接收器便能收到选择笔画的指令，将中文字逐笔写出来。
看似神奇的“意念输入法”，原理其实很简单。詹姆斯介绍，人看到自己想要输入的笔画闪亮时，会产生心理刺激，此时大脑会释放出脑电波。譬如想输入一个“横”，当屏幕上的“—”亮起时，大脑就释放脑电波，系统捕捉脑电波并反馈给电脑软件，完成输入一笔“横”。然后再依次输入其他笔画，依靠软件的联想功能，屏幕上也会不断出现文字或词组，供使用者选择。
2013年发的一篇文章，发现了人们在处理不同的文字和信息的时候，大脑中的不同脑区会有组合性的不同反应。就是《Nature》上面发过的一篇文章，说我们人类在想一个单词或者是文字的时候，我们大脑的不同脑区是有一个不同的对应。现在也开发了一些简单的应用，可以用大脑直接输入一个简单的数字，在通过大量的训练的情况下。
导读
在一项研究中，研究人员展示了一种脑皮层内脑机接口，它可以利用一种新的递归神经网络解码方法，从运动皮层的神经活动中解码想象的书写动作，并将其实时翻译成文本。凭借这个BCI，该项研究的参与者(手瘫痪)的打字速度超过了其他任何一个BCI的打字速度:每分钟90个字符，准确率达到99%，并且具有通用自动校正功能。
可以说，这样的打字速度与项目中参与者所在年龄组的健全智能手机打字速度(每分钟115个字符)相媲美了，并且大大缩小了启用BCI的打字速度与智能打字速度之间的差距。
研究人员表示，该项目的研究结果为BCI打开了一种新的方法，并证明了在瘫痪数年后能够精确解码，快速、灵巧动作的可行性。
实验过程
研究人员经过对BCI领域大量的调研发现，瘫痪后运动皮质中的运动意图（例如抓取或移动电脑光标）仍通过神经编码。诸如手写之类的灵巧运动技能也保持不变。研究人员通过记录中央前回手“knob”区域中两个微电极阵列的神经活动来测试这一点，同时项目实验的参与者T5尝试手写单个字母和符号(图1A)。T5有高位脊髓损伤，从颈部以下瘫痪。我们指导T5“尝试”像他的手没有瘫痪一样写字(同时想象他拿着一支笔在一张格子纸上)。
研究人员使用主成分分析将记录的神经活动(multiunit threshold crossing rates，多阈值交叉率)降低到包含最大方差的前3个维度(图1B)。尽管各个试验中神经活动的高峰和低谷时间不同（可能是由于书写速度的波动），但神经活动似乎很强且可重复。
研究者让参与者T5尝试按照电脑屏幕上的指示一次手写一个字符，如下图1A中所示，下面的面板按照时间线描述屏幕上显示的内容。并通过调整神经活动的时间来消除书写速度的反复变化，研究者发现每个字母的活动模式是一致的。
上图1为手写操作的神经编码。
(A)参与者T5尝试按照电脑屏幕上的指示一次手写一个字符。
(B) 显示了三个示例字母(d, e和m)和每个字母的27次重复(“试验”)的前3个主成分(PCs)的神经活动。颜色尺度在每个面板中分别归一化，以便可视化。
(C)通过调整神经活动的时间来消除书写速度的反复变化。在C上方的插图中，示例时间翘曲函数显示为字母“m”，并且相对接近于恒等线(每次试验的翘曲函数用不同颜色的线绘制)。
实验中显示31个测试字符的解码钢笔轨迹:26个小写字母、逗号、撇号、问号、斜杠(~)和大于号(>)，如下图D所示。预期的2D笔尖速度通过交叉验证从神经活动中线性解码(每个字符都被显示出来)。解码后的速度在整个试验中平均，并进行整合以计算笔轨迹(橙色圆圈表示轨迹的开始)。
(E)利用t-SNE绘制的神经活动的二维可视化图。每个圆圈都是一个单独的试验(31个字符中的每一个对应27个试验)。
在该项研究中，研究者设计了一套解码流程，算法示意图如下图A。首先，神经活动(多阈值交叉)进行时间分档（20 ms分档）并在每个电极上进行平滑处理。然后，递归神经网络（RNN）将此神经种群时间序列(xt)转换为描述每个字符的可能性和任何新字符开始的可能性的概率时间序列(pt-d)。 RNN有一秒钟的输出延迟（d），它有时间观察完整字符，然后在进行识别。最后，对字符概率进行阈值处理，以产生用于实时使用的“原始输出”(当“新字符”概率在t时刻超过一个阈值时，最有可能在t+0.3时刻发出字符)。在一个离线的回顾性分析中，字符概率与一个大词汇量的语言模型结合在一起来解码参与者最可能写的文本(研究人员使用一个定制的50,000字的双向字符模型)。
在上图B中，显示了两个实时示例试验，表明RNN能够解码从未训练过的句子中易于理解的文本。错误以红色突出显示，空格用“>”表示。(C)显示错误率(编辑距离)和打字速度，为期5天，每个阶段有4个block，每个block包含7-10个句子（每个block用一个圆圈表示）。该速度是第二快的皮质内BCI7的两倍以上。
研究人员分析了16个手写字符(持续1秒)和16个手写直线运动(持续0.6秒)对应神经活动的时空模式如下图A，并通过对给定运动的所有试验(aftertime-warping to align the trials in time)进行平均，发现了时空神经模式。然后，神经活动被重新采样以平衡每组动作的持续时间(否则直线运动的持续时间会更短)，得到每个动作的192 x 100矩阵(192个电极和100个时间步)，如图3B。
上图(C)为每一组计算神经模式之间的成对欧几里得距离，揭示字符更大的最近邻距离(但不是平均距离)。每个圆圈代表一个移动，条形高度表示平均值。(D)较大的最近邻距离使字符比直线更容易分类。噪声以标准偏差为单位，并且与距离的大小匹配。(E)字符和直线的空间维数相似，但字符的时间维数高两倍，表明更复杂的时序模式构成最近邻距离的增加和更好的分类性能。误差条显示了95% CI (bootstrap百分位数法)。维度被定义为参与比率，它近似等于解释80%的变量所需的维度数。(F,G, H)一个玩具例子可以直观地说明增加的时间维度如何使神经轨迹更加可分离。画出了四个神经轨迹(N1和N2是两个假设的神经元，它们的活动被限制在一个空间维度，即单位对角线上)。通过增加一个弯曲允许轨迹随时间变化(将时间维度从1增加到2)，可以实现更大的最近邻居距离(G)和更好的分类(H)。
研究结论
这些结果表明，时变运动模式（例如手写字母）从根本上比点对点运动更容易解码，因此可以实现更高的通信速率。这个概念可以更广泛地应用于改进任何BCI，使其能够在一组选项之间进行离散选择(通过将这些选项与随时间变化的手势相关联，而不是简单的动作)。利用最大化运动之间最近邻距离的原则，为了便于分类，可以优化一组轨迹(就像以前优化目标位置时所做的那样)。
研究人员为此进行了相应的探索，并设计了一个字母表，理论上比拉丁字母表中的字母更容易分类(图4)。研究人员的发现，从神经解码的角度揭示了拉丁字母的一个缺点：大量的冗余字母以相似的方式书写（大多数字母以向下笔划或逆时针的旋开始）。
参考链接：
https://doi.org/10.1101/2020.07.01.183384
文章来源于公众号"脑机接口社区"
