“你好,安。”
“很高兴见到你。”
这段对话发生在美国加州大学旧金山分校研究团队成员,与因瘫痪无法清晰发声的患者安之间。安是加州大学旧金山分校一项研究的志愿者,今年47岁。2005年,她因发生中风导致瘫痪,继而无法清晰说话。
8月23日,《自然》杂志发布的两篇研究表明,两名因严重瘫痪而无法说话的患者通过采用侵入式脑机接口(BCI),能以前所未有的准确性和语速与他人进行交流。两项研究相互独立,分别来自美国斯坦福大学团队和加州大学旧金山分校团队。
两项研究的植入物根据大脑活动,将神经信号翻译成文本或单词。两项研究的结果大致相似。患者的平均语速约为60~80个单词/分钟,几乎是正常对话速度的一半,但比之前脑机接口成果的速度至少快三倍。
安与研究团队一起训练人工智能算法,使其能够识别与音素相关的大脑信号。图/加州大学
“这两项研究表明,脑机接口可以使瘫痪患者恢复准确、快速的沟通。”8月24日,斯坦福大学弗兰克·威利特在其个人推特账号上写道。他是前述斯坦福大学团队研究的主要作者。
荷兰马斯特里赫特大学心理健康和神经科学学院的助理教授克里斯蒂安·赫夫没有参与这两项研究,他主要关注从颅内数据解码语音过程,研究侵入式脑机接口。赫夫告诉《中国新闻周刊》,这两项研究的引人注目之处在于,两项研究中的电极都是专门针对语音脑机接口植入的,且两项研究的结果远远好于之前取得的任何成果,并达到了可供患者实际使用的解码性能。
接近正常说话语速
两个研究团队各自与一名志愿者合作,斯坦福大学研究的志愿者是现年68岁的帕特·贝内特。2012年,她被诊断出患有肌萎缩侧索硬化症,即渐冻症(ALS)。ALS是一种神经退行性疾病,会攻击控制运动的神经元,导致身体虚弱,最终瘫痪。
据斯坦福大学医学院8月23日报道,去年3月29日,贝内特大脑表面的两个不同区域被分别放置了一个微型传感器,这两个区域都与语言产生有关。这些传感器可以与解码软件结合,将想要发音的大脑活动转化为屏幕上的文字。术后约1个月,斯坦福大学的一个科学家团队开始了每周两次的研究会议,以训练用来解码脑信号的软件。4个月后,贝内特尝试表达的内容以62个单词/分钟的速度在电脑屏幕上被转换成单词。正常人类的自然对话速度约为160个单词/分钟。该研究中,使用12.5万个词汇时,解码错误率为23.8%,50个词汇的错误率为9.1%。
两项研究在植入物的设计上存在着显著差异。斯坦福大学的研究使用皮质内微阵列,即犹他阵列,另一项研究使用体积更大的ECoG电极(皮层脑电极)。21世纪初,ECoG电极被用于接受耐药性癫痫手术的患者,以记录患者与语言、运动相关的大脑信号。犹他阵列由硅制成,用于脑皮层内植入,已获得美国食品药品监督管理局(FDA)的商业许可。
斯坦福大学团队开发的脑机接口装置,可以通过插入大脑的细电极阵列收集单个细胞的神经活动,并训练人工神经网络解码病人想说的内容。植入贝内特大脑皮层的传感器是微小硅电极的方形阵列。每个阵列包含64个电极,共128个微电极。微电极彼此间隔的距离约为信用卡厚度的一半。植入的阵列最终被连接到计算机上。
加州大学旧金山分校团队在患者大脑皮层表面放置了一个像纸一样薄的矩形阵列,共包括253个电极,放置在与口面部运动相关的皮层区域上。每个电极记录了成千上万个神经元的活动。一根电缆插入固定在安头部的端口,将电极连接到一组计算机。华裔科学家、加州大学旧金山分校神经外科主任张复伦是该研究的通讯作者,十多年来,他一直致力于脑机接口技术的研究。
张复伦团队放置在患者大脑表面的电极片,覆盖了对语言至关重要的区域。图/加州大学
音素是形成口语的语音子单位。加州大学旧金山分校团队的研究人员并没有训练人工智能识别整个单词,而是创建一个系统,可以从称为音素的较小组件中解码内容。研究中,安与团队一起训练系统中的人工智能算法,识别与音素相关的大脑信号。训练内容中涉及由1024个单词构成的不同短语,直到计算机识别出与所有基本语音相关的大脑活动模式。
该团队还借助软件对安的头像进行了动画处理,该软件由一家制作人工智能驱动的面部动画的公司开发。研究人员创建了定制的机器学习流程,使该软件能够与安试图说话时大脑发出的信号相结合,并将这些信号转换成其脸部的动作。比如说,下巴张开和闭合、嘴唇突出,以及幸福、悲伤、惊讶等面部动作。团队还设计了一种合成语音的算法,通过截取安在婚礼上的演讲录音,再进行个性化处理,使其“发声”。
复旦大学附属华山医院神经外科副主任、中国神经科学学会脑机接口与交互分会副主任委员吴劲松告诉《中国新闻周刊》,在脑机接口领域,这两项研究的团队近年来一直齐头并进,这次同时发布的研究相当于对其此前一系列工作成果的阶段性总结。在吴劲松看来,这两篇研究最大的飞跃在于,解码速度比以前快了不少,还增加了人工智能虚拟人物形象,提高整个脑机接口的成熟度。
复旦大学光电研究院研究员宋恩名告诉《中国新闻周刊》,这两项研究都属于侵入式的脑机接口,斯坦福大学团队的属于全侵入式,加州大学旧金山分校团队属于半侵入式。两者截取的大脑信号类型和信号密度不一样。宋恩名表示,这两项研究前,脑机接口大多是“头盔式”的设备,这类脑机接口不容易捕捉到大脑电信号,因为人的颅骨就相当于“信号屏蔽网”,很多高级信号传不出来,也很难区分、筛选有用的信号。相较而言,侵入式的脑机接口,能采集更高质量的脑电信号,有助于后续解码、信号处理。
2021年2月,吴劲松曾与张复伦在《自然通讯》上合发过一篇一项跨语言的比较研究。吴劲松分析说,大脑的语言中枢涉及区域相对广泛,很难定位于某个区域,因此,电极覆盖范围应更广泛。此次研究中,张复伦团队放置在患者大脑表层的电极片,覆盖整个大脑中央叶的腹侧部,还包括颞上回及颞横回,即听觉中枢,基本上覆盖了语言的输出、听觉、理解区域,使得采集的信号更丰富。
在吴劲松看来,相对有创的侵入式脑机接口,无创方式提取到的脑电信号太粗略,该信号通过颅骨、头皮、头发等部位时会出现一系列衰减,精准度低。如果医生为了临床教学,或患者进行术后康复,应考虑无创类型的脑机接口。对于传统康复手段无法恢复的神经功能障碍,比如说偏瘫、失明、因脑干损伤或脊髓侧索硬化等问题导致的严重失语,应考虑采用有创的侵入式脑机接口。
距离大规模应用仍有距离
吴劲松团队曾做过一项调研,现阶段,中国因为各种神经系统疾病导致的失语症人群数量,每年新增近100万左右,包括渐冻症患者,脑卒中、脑肿瘤患者,以及车祸导致的高位截瘫病人、脑干损伤导致的失语人群等。他根据流行病学调查数据推测,国内无法通过传统康复手段恢复的失语人群,共约800万人。“这些病人未来可能是脑机接口技术的受益人群。”吴劲松说。
复旦大学附属华山医院神经内科主任医师郁金泰向《中国新闻周刊》表示,他在临床上遇到的失语病人非常多。他注意到,近年来,国外关于脑机接口的文章越来越多,但患者的样本量不大,大多是个体病例。“从个体病例跨度到大规模临床应用还需要时间。”他说。
在吴劲松看来,两个团队的研究只涉及个体病例。一方面,因为研究的时间、人力成本都很高;另一方面,目前,FDA仅批准脑机接口用于探索性的个体病例数据的采集。“这两项研究更接近于可商业化推广的原型脑机接口模式。”吴劲松表示。
使用电极读取人的大脑信号实验,最早可追溯至上世纪90年代末。8月23日,与两项研究同步,《自然》杂志还发布了一篇社论。文章指出,迄今为止,全球约有50名不同程度的瘫痪患者被植入脑机接口,以实现交流。
张复伦团队的研究写道,“局限性是结果仅来自一位参与者。下一步会在其他不同程度瘫痪的患者身上验证这些解码方法,例如完全闭锁的ALS患者。”
安的大脑表面植入了一个薄薄的矩形电极,以接收其试图说话时发出的信号。图/加州大学
前述《自然》杂志的社论指出,当这类产品被更广泛使用时,脑机接口技术面临一些挑战。首先,两名参与者仍可以在一定程度上移动他们的面部肌肉并发出微弱的声音,因此还要更多研究证明,其对没有任何运动能力的患者疗效如何,比如晚期渐冻症患者。其次,两项研究中的电极设备,必须通过一个穿透皮肤的“底座”连接到外部放大器,未来还需要开发完全可植入的无线脑机接口,达到或超越目前研究中的性能。此外,这些系统对于护理人员来说仍太复杂,更无法在没有大量培训和维护的情况下,在家庭环境中操作。
宋恩名表示,目前脑机接口电极阵列应用较广的仍然是犹他电极阵列,该技术采用刚性探针阵列,植入手术存在炎症、疤痕和感染的风险。随着植入时间增加,破损伤口处结痂后,容易形成绝缘体,影响电极导电性能。同时,如果设备失效,还可能造成漏电等现象。“这是脑机接口目前有待突破的技术瓶颈。”吴劲松表示,国外有研究证明,在大脑皮层内长期植入电极后,会造成植入区域局部疤痕的形成,降低神经信号的提取效率。
宋恩名认为,对于柔性脑机接口产品而言,迫切需要长期稳定的封装策略。柔性电极同样面临着力学稳定性不高的瓶颈。大脑是密闭空间,如果植入的电极发生错位,就无法获得准确的信号。
68岁的贝内特训练脑机接口来识别她想说的单词和短语。图/斯坦福大学
赫夫表示,据他了解,两项研究中的电极已植入患者大脑中几年时间,似乎仍然可以接收信号。“传统上,人们认为ECoG电极更适合长期植入,但最近的一篇文章表明,植入10年以上的微阵列也能提供良好的信号。”他说。
“很明显,当电极被植入病人体内时,人们必须非常小心所有的伦理问题,尤其是当插入位置是大脑时。这两项研究在告知患者风险方面都非常正确,没有作出虚假的承诺。”赫夫相信,当涉及到商业层面时,伦理问题就会被放大。他也抛出了疑问,比如一家销售植入物的公司,未来破产了怎么办?2013年,脑机接口制造商NeuroVista由于无法获得新的资金而倒闭,而参与其设备临床试验的癫痫患者不得不移除植入物。
据美国加州大学8月25日发布的新闻稿,张复伦团队重要的下一步是创建无线版本的脑机接口,不需要物理连接。赫夫认为,无线脑机接口在商业应用中是绝对必要的。
吴劲松表示,随着这些设备变得更小、更安全、成本更低,它们的商业化前景一定会更好。他分析说,未来3~5年,会是全球脑机接口的发展风口,一些成熟的产品也会崭露头角。张复伦团队已经公布了复制该研究主要发现的相关代码,一旦步入商业化轨道,推向市场的脚步不会很慢,当前已经有很多资本在跟投。
据报道,国内已有多家创投机构在布局脑机接口赛道。红杉中国、鼎晖投资、蓝驰创投等创投机构近年均在脑机接口赛道出手投资,行业中也涌现出脑虎科技、臻泰智能等热门公司。
在吴劲松看来,脑机接口硬件方面其实国内不乏亮点进展,例如柔性高密度皮层电极以及分辨率可达单神经元的皮层内植入电极,和国外差距没那么大。然而,在汉语言神经机制的理论研究方面,比如涉及到神经电活动的编码机制、解码算法等,和国外差距较大。
吴劲松分析说,脑机接口的目的不是把人打造成“科学怪物”,而是希望通过科技手段帮人类应对疑难杂症。相对于视觉和运动类型的脑机接口,语言脑机接口的设计、研发难度更大。一方面,针对不同音素、字词、句法、语义,大脑会产生对应电活动,如何将这些电信号准确编码出来,难度不小;另一方面,目前,在语言神经机制的基础研究上,仍有很多空白的地方。“语言是思维的媒介。对于语言脑机接口的研究,不应仅仅停留在语言功能的康复上,更应该通过语言,来理解人类的思维、意识本质。”他强调。
记者:牛荷
责任编辑:张玉