说话似乎是一件毫不费力的事，但实际上说话却是人类执行得最复杂的活动之一。十多年前，科学家首次从大脑信号中解码语言，但是一直以来，语言解码的准确性和速度远远低于自然语言交流的速度。近日，《自然·神经科学》发表了美国加州大学旧金山分校华裔教授 Edward Chang 的团队开发的一款脑电波 AI 解码器，能够将大脑活动信号直接转化为文本或语音。

　　翻译错误率低至3%

　　许多患有神经疾病的患者因丧失语言能力，需要依赖特定的通信设备进行沟通，这类设备大多利用脑机接口或者头部、眼睛的动作来控制光标，以选择屏幕上的字母，从而拼出他们想说的句子。这种方式目前可以帮助瘫痪的人通过设备每分钟输出多达 8 个单词。但与流畅自然的语言交流每分钟 150 个单词的平均速度比起来，现有技术的输出速度还是太慢了。

　　这位华裔科学家开发的脑机接口通过AI解码与人类下颌、喉头、嘴唇和舌头动作相关的脑电波信号，合成受试者想表达的语音。首先记录下受试者的高密度脑电图信号，并跟踪控制和发声部位的大脑区域活动，再通过两级解码合成语音。

　　理论上来说，脑机接口技术可以通过直接从大脑“读取”人的意图，并使用该信息来控制外部设备或移动瘫痪的肢体，来帮助瘫痪的人完成说话或运动。具体而言，研究人员首先通过电极记录受试者说话时的神经活动信号，并用特定语句和神经信号特征之间的关联数据训练 AI 算法。试验证明，训练后的AI算法能够准确地解码受试者的神经活动，并将其实时翻译为句子文本，错误率低至 3%。

　　从大脑“读取”人的意图

　　和机器翻译类似，解码语言也是从一种语言到另一种语言的算法翻译，两种任务实际上是类似的输出方式。只不过，机器翻译的输入内容是文本，而解码语言的输入内容是神经信号。于是，研究人员整理了机器翻译领域的最新进展，并利用这些方法训练循环神经网络，然后尝试将神经信号直接映射为句子。

　　具体而言，研究人员通过电极记录4名受试者他们大声读出句子时的神经活动。之后，研究人员将这些数据添加到一个循环神经网络中，从而将规律性出现的神经特征表示出来，这些神经特征可能与言语的重复性特征相关。

　　接着，研究人员通过另一个循环神经网络逐字解码的AI算法形成句子并显示出来。研究人员发现，明显参与语言解码的脑区，同样参与语言生成和语言感知。通过这种AI机器翻译算法，研究人员在一名受试者身上进行试验，结果证明通过神经活动解码，口头句子的错误率相较而言更低。

　　此外，如果利用某人的神经活动和语言对循环网络进行预训练后，再在另一名受试者身上进行训练，最终的解码结果有所改善，这意味着这种方法在不同人员之间或许是可通用的。但是，还需要开展进一步的研究完整地调查这个系统的功能，将解码范围扩展到研究所限语言之外。

　　脑机接口+AI　合成语音

　　直接通过解码大脑活动信号来合成文本或语音，不只是一项科幻般的“读脑术”，更是一种颇有前景的治疗方案。对于由肌萎缩性侧索硬化或脑干中风引起的瘫痪患者，通过直接记录来自大脑皮层的神经控制信号来合成语音，是实现自然语言高通信速率最直观的方法。

　　为了重建语音，研究人员设计了一种循环神经网络（RNN），首先将记录的皮质神经信号转化为声道咬合关节运动，然后将这些解码的运动转化为口语句子。

　　整个过程分为两个步骤，第一步，将神经信号转换成声道咬合部位的运动。而为了实现神经信号到声道咬合部位运动的转化，需要大量声道运动与其神经活动相关联的数据。但研究人员又难以直接测量每个人的声道运动，因此他们建立了一个循环神经网络，根据以前收集的大量声道运动和语音记录数据库来建立关联。第二步，将声道咬合部位的运动转换成合成语音。研究人员的这种两步解码方法，产生的语音失真率明显小于使用直接解码方法所获得的语音。在包含 101 个句子的试验中，听者可以轻松地识别并记录下合成的语音。

　　随着脑机接口领域科学研究与应用技术的不断突破，尤其是 AI 算法的加持，为许多当前仍无法解答的难题提供了更好的探索工具，不仅能够帮助人类进一步了解自己的大脑，更重要的是为诊断、治疗脑部及其他严重疾病提供了解决方案，甚至广泛应用于睡眠管理、智能生活和残疾人康复等领域。