新型脑机接口可将大脑信号转化为语音准确率高达97%

加州大学戴维斯分校医疗中心开发的新型脑机接口（BCI）能将大脑信号转化为语音，准确率高达 97%，是同类系统中最准确的。研究人员在一名因肌萎缩性脊髓侧索硬化症（ALS）而导致语言能力严重受损的男子的大脑中植入了传感器。这名男子在启动该系统后几分钟内就能传达自己想要说的话。

新型脑机接口可将大脑信号转化为语音

Casey Harrell 首次尝试使用 BCI 系统

今天（8 月 14 日），《新英格兰医学杂志》上发表了一项关于这项工作的研究。

凯西-哈雷尔（Casey Harrell）与他的私人助理艾玛-阿拉莫（Emma Alaimo）和加州大学戴维斯分校神经科学家谢尔盖-斯塔维斯基（Sergey Stavisky）。图片来源：加州大学摄政委员会

了解 ALS 及其对语言的影响

渐冻人症又称卢伽雷氏病，会影响控制全身运动的神经细胞。这种疾病会导致患者逐渐丧失站立、行走和使用双手的能力。它还会导致患者失去对用于说话的肌肉的控制，从而失去可理解的语言能力。

这项新技术的开发是为了让那些因瘫痪或神经系统疾病（如渐冻人症）而无法说话的人恢复交流。它可以在用户尝试说话时解读大脑信号，并将其转化为文字，由计算机大声"说出"。

加州大学戴维斯分校神经外科医生大卫-布兰德曼（David Brandman）说："我们的BCI技术帮助一名瘫痪患者与朋友、家人和护理人员进行了交流。我们的论文展示了有史以来最精确的语音神经假体（设备）"。

布兰德曼是这项研究的共同首席研究员和共同第一作者。他是加州大学戴维斯分校神经外科系助理教授，也是加州大学戴维斯分校神经义肢实验室的联合主任。

博士后学者、该研究的主要作者尼古拉斯-卡正在准备 BCI 系统。资料来源：加州大学管理委员会

BCI 设备如何工作

当有人试图说话时，新型 BCI 设备会将其大脑活动转化为计算机屏幕上的文字。然后，计算机就可以大声朗读这些文字。

为了开发该系统，研究小组让患有渐冻人症的 45 岁男子凯西-哈雷尔参加了 BrainGate 临床试验。入组时，哈雷尔手脚无力（四肢瘫痪）。他的语言非常难懂（构音障碍），需要别人帮他翻译。

2023 年 7 月，布兰德曼植入了研究性 BCI 设备。他将四个微电极阵列植入左侧前脑回，这是一个负责协调语言的大脑区域。这些阵列旨在记录来自 256 个皮层电极的大脑活动。

神经外科系的助理教授谢尔盖-斯塔维斯基解释说："我们实际上是在检测它们试图活动肌肉和说话的情况。"他是加州大学戴维斯分校神经义肢实验室的联合主任，也是这项研究的联合首席研究员。"我们正在记录大脑试图向肌肉发送这些指令的部分。我们基本上是在监听，然后将这些大脑活动模式转化为音素--就像音节或语言单位--然后再转化为他们想说的话。"

加州大学戴维斯分校神经义肢实验室联合主任神经外科医生大卫-布兰德曼和神经科学家谢尔盖-斯塔维斯基

更快的培训，更好的效果

尽管最近生物识别（BCI）技术不断进步，但实现交流的工作进展缓慢，而且容易出错。这是因为解释大脑信号的机器学习程序需要大量时间和数据才能完成。

"以前的语音 BCI 系统经常出现单词错误。这使得用户难以被持续理解，成为沟通的障碍，"布兰德曼解释道。"我们的目标是开发一种系统，让人们在想说话的时候都能被理解"。

哈雷尔在提示和自发对话环境中都使用了该系统。在这两种情况下，语音解码都是实时进行的，并通过持续的系统更新来保持准确工作。

解码后的文字显示在屏幕上。令人惊奇的是，这些单词是用哈雷尔患 ALS 之前的声音朗读出来的。这个声音是用哈雷尔患渐冻人症前的声音样本通过训练软件合成的。

在第一次语音数据训练中，该系统用了 30 分钟就达到了 99.6% 的单词准确率，词汇量为 50 个。

"我们第一次试用该系统时，他高兴得哭了，因为屏幕上出现了他想说的正确单词。我们都哭了，"斯塔维斯基说。

在第二次训练中，潜在词汇量增加到了 125000 个单词。只需增加 1.4 小时的训练数据，BCI 就能在词汇量大幅增加的情况下达到 90.2% 的单词准确率。在继续收集数据后，BCI 的准确率保持在 97.5%。

对 ALS 患者交流的变革性影响

布兰德曼说："目前，我们可以在大约 97% 的情况下正确解码凯西想要说的话，这比许多试图解读人的声音的市售智能手机应用软件都要好。这项技术具有变革性，因为它为那些想说话却说不出话的人带来了希望。我希望像这种语音 BCI 这样的技术能够帮助未来的病人与他们的家人和朋友交谈。"

该研究报告了 32 周内的 84 次数据收集过程。哈雷尔在自定进度的对话中总共使用语音 BCI 进行了超过 248 个小时的面对面交流和视频聊天。