脑机接口口(BCI)技术通过直接从大脑信号中实时解码用户意图来为辅助设备提供丰富、强大的命令信号。近年来,脑机接口技术的理论和实际应用的研究进展迅速,技术日趋成熟,其应用领域在不断扩大,发展趋势呈良好态。
语音解码类脑机接口技术能够将神经活动直接转换为语音信号,对由于神经功能障碍而无法正常交流的群体具有革命性的意义。2019年4月, 加州大学旧金山分校的研究团队基于脑机接口技术设计了一种新型的神经解码器,该解码器能够通过提取大脑皮层活动对发声器官的运动情况来实现语音的合成(图一)。即使受试者不发出声音读句子,解码器也能实现语音合成。同年7月,该研究团队展示了基于高密度ECoG信号的模拟自然问答对话系统。利用在对话中记录下的脑信号,能够确定受试者何时在听、说,且能够预测所听、说的是什么,这一技术对于无法交流的患者具有重要意义。
图1 通过皮层脑电合成语音
除上述提及的侵入式脑机接口实现语言交流功能外,非侵入式脑机接口在此方面也展现出较大潜力。2019年4月,在《挑战不可能》节目中,清华大学研究团队展示了一套脑机接口打字输入系统,该系统展示了帮助渐冻症群体重拾交流能力的潜力。
美国巴特尔纪念研究所及合作研究团队从初级运动皮层活动反映的运动意图中提取出患者残余的、无法被患者知觉感知的手部触觉信号,并将该信号进行增强后反馈给患者,从而实现皮层内控制的闭环感觉反馈,并可通过触摸信号调节握力,以实现触觉和运动功能的同时恢复。这项研究表明,脑机接口可以从大脑皮层采集低于知觉反应范围的神经号,并将其转换为有意识的知觉,从而显著增强功能。
卡耐基梅隆大学和明尼苏达大学的研究人员提出了非入侵式脑机接口的机械臂控制。基于头皮脑电,通过连续的追踪任务和相关的训练范式增加用户的参与度,显著改善了基于脑电的神经解码效率,且允许用户对机械臂实现高分辨率控制,实现对连续随机运动目标的实时跟踪(图二)。这种高质量的神经解码能力与非侵入式机械臂控制的实际应用相结合,将对利用非侵入式脑机接口开发和实现神经机器人技术产生重大影响。
图2 用于连续随机目标跟踪的脑机接口控制机械臂系统
2020年1月,浙江大学研究团队也实现了国内第一例植入式脑机接口临床研究。植入电极后,患者可以利用大脑运动皮层信号精准控制外部机械臂与机械手实现三维空间的运动,首次证明高龄患者利用植入式脑机接口进行复杂而有效的运动控制的可行性。
脑机接口的硬件主要涉及电极和信号采集系统。对于侵入式脑机接口而言,需要具有生物相容性、安全性和长期植入的材料特性的电极;非侵入式脑机接口则倾向于舒适、便携的信号获取方式。
2019年,Elon Musk的Neuralink 公司发布了一款可扩展的高带宽脑机接口系统。该系统包含小而灵活的电极“线”阵列,每个阵列共分布3072个电极。该系统还包含一个神经外科手术机器人,该机器人每分钟可以插入6根线。电极阵列被封装在一个小的可植入设备中,3072个通道封装所占面积小于23 mm×18.5 mm×2 mm(图 3)。一根USB-C电缆可提供设备的全带宽数据流传输,并记录所有数据。相较于传统的样机往往较为简陋,未实现工程上的充分优化,Neuralink提出的这一套高度集成化、自动化的脑机接口系统展示了工业界的关注对脑机接口实用化进程的重大意义。
图3可植入得传感器设备
英国诺丁汉大学及合作研究团队开发了一种基于自行车头盔改造且完全符合生命周期的可穿戴脑磁系统,该系统能够为所有年龄段的受试者提供高保真数据,且无需限制受试者的活动(图4)。因此可以使用单一系统测量儿童、成人在外部环境中大脑如何做出反应并适应自然事件的能力
图4 装在经过改装的自行车头盔中的光泵磁力仪测量脑磁信号
佐治亚理工学院及合作研究团队报道了一个完全便携式、无线、灵活的头皮电子系统,其中包括一组干电极和一个柔性膜电路(图5)。相比于商用系统,柔性电子产品因显著降低噪声和电磁干扰能够提高诱发电位检测性能。两通道的头皮电子系统获得了122.1 bit/min的信息传输率,允许对电动轮椅、电动汽车和无键盘演示进行无线、实时和通用的脑电控制。
图5 具有完全便携式和无线的头皮电子设备
除此之外,丹麦奥尔胡斯大学及合作研究团队开发的一种基于干式接触电极的外耳道脑电采集系统,其性能与靠近耳朵的头皮脑电图性能相当。清华大学及合作研究团队开发的一种高成本效率、易于制造、灵活、鲁棒且无凝胶的银纳米线/聚乙稀醇缩丁醛/三聚氰胺海绵的脑电电极,具有具有高电导率,重量低及卓越的机械稳定性和绕过头发的能力的特性。这一成果显示出该新型电极有望替代脑电采集的常规电极。
对侵入式脑机接口而言,脑机接口技术临床应用的关键障碍是植入皮层电极所记录的神经活动会随时间变化。卡内基梅隆大学及合作研究团队利用低维神经流形的对齐,开发了一种基于流形的神经信号稳定器,实现脑机接口信号的稳输入,以解决神经记录的不稳定而导致临床脑机接口无法控制的问题。斯坦福大学及合作研究团队提出一种时间约束的稀疏组空间模式,通过同时优化共空间模式中滤波器频带和时间窗长,实现进一步提高想象运动脑机接口的性能。华中科技大学的研究团队提出了一种新颖的流形嵌入知识迁移方法(MEKT)。该方法可以处理一个或多个源域,并且可以高效地进行计算。针对于大量源域的情况,该团队还提出了域迁移性估计方法(DTE),以识别最有利的源域。实验表明,MEKT优于几种最先进的转移学习方法,并且当源受试者的数量很大时,DTE可以减少一半以上的计算成本,且几乎不会牺牲分类精度。法国Aramis project-team 及合作研究团队提出的一种融合方法,能够整合来自同步脑电和脑磁信号的信息,提高基于运动想象脑机接口的分类性能。
斯坦福大学及合作研究团队研究发现面部、头部、手臂和腿部运动在运动皮层“手结区”均具有较好的表征,并存在着将四肢联系起来的神经编码。该研究团队设计了一个脑机接口系统,能够利用“手结区”的信号精确地解码四肢的运动。这一研究成果展示只在一个区域放置植入电极,就可能实现全身的运动控制,大大拓宽颅内脑机接口的应用空间。
多伦多大学及合作研究团队利用近红外光谱成像技术实现了在线三分类想象言语脑机接口。用户可以通过隐式默念短语“是”或“否”来直接回答是或否问题,该接口还能识别无限制休息状态。
匹兹堡大学的研究团队提出了一种基于运动想象的混合脑机接口,它利用脑电图记录脑电活动以及利用功能性经颅多普勒超声测量脑血流速度。与现有的基于EEG和fNIRS的混合脑机接口相比,所构建的系统能够以较短的任务持续时间实现相似或更 高的准确率。
脑机接口技术已经开始在其他领域发挥价值。
哥伦比亚大学的研究团队展示了一个闭环的脑机接口,该系统基于脑电信号解码器输出的听觉反馈信号,动态地调整个体在执行 bound⁃ ary-avoidance 任务时的唤醒程度,并根据 YerkesDodson 定律(唤醒程度与任务执行是倒U形曲线关系)提高任务执行效率。该方法有望应用于不同的任务或用于将自我调节作为目标治疗的临床应用。
俄罗斯 Neurobotics 和莫斯科物理技术学院的研究团队研究了另一种新颖的闭环脑机接口系统。该系统可利用受试者的脑电特征实时重建受试者观察到的或想象的刺激图像, 并将重建的图像作为视觉反馈呈现给受试者。从而有望用于训练脑机接口的新用户。
中国科学院半导体研究所的研究团队利用编码调制的视觉诱发电位,实现了一套个体身份识别系统。该系统具有高识别性能,有望为个体身份识别提供基于脑电的解决方案。此外,该团队还和清华大学的研究团队利用 room-scale 虚拟现实头盔开发一个便携式稳态视觉诱发电位脑机接口。验证了脑机接口在移动虚拟现实环境中的应用潜力,并为利用移动虚拟现实系统开发实用脑机接口提供了实验和方法的指导。
尽管近年来脑机接口在性能上获得了较大的提高,但相比于自然的人机交互,目前脑机接口的通信速率仍较低,是限制脑机接口应用的最大障碍。通过脑信号解码技术大幅提高通信速率,在大脑与机器之间建立高效的信息交流通道,是实现高性能脑机接口的关键。目前,如何使用先进算法与大脑进行交互已引起脑机接口研究者的广泛关注。清华大学研究团队发布了基于稳态视觉诱发电位的脑机接口的BETA数据集。该研究具有领域内迄今为止规模最大、测试基准算法最全等特色,为今后研究开发提供了测试平台与数据支撑。同时,世界机器人大赛-BCI脑控机器人大赛(图6)也推动了国内脑机接口的算法水平。脑机接口技术的发展离不开领域内学者的共同努力,期待着后续更多跨研究组、跨高校的通力合作。
图6 2019世界机器人大赛-BCI脑控机器人大赛现场
在脑机交互中,信息可以在两个方向上传播: “从脑到机”或“从机到脑”。 目前脑机接口领域的研究仍以 “从脑到机”为主。但近年来,神经调控技术的发展为“从机到脑”提供了可能。调节神经活动将是下一代脑机接口的重要组成部分。匹兹堡大学及合作研究团队展示了通过体感皮层的皮层内微电刺激来恢复触觉感知反馈,使得具有双向脑机接口的受试者能够改善其在由神经控制的假肢完成的功能性物体运输任务中的性能(图 7)。
图7 双向脑机接口系统
近年来,与健康相关的物联网设备越来越流行。一方面,用户可以方便了解自身的健康状况信息;另一方面,这些信息也面临新的安全风险。乔治·华盛顿大学及合作研究团队研究了家用脑电系统的安全性,发现NeuroSky App store 中的 156 个脑机接口应用程序都容易受到近程攻击,而且 31 个免费应用程序都容易受到至少一种远程攻击的攻击。考虑到脑活动的高度私密性和重要性,在实现脑机接口应用的过程中,如何对脑活动数据进行有效安全的管理并制定相关标 准规范是当下科研界和产业界都必须深入思考的 关键一环。
2019—2020年,脑机接口技术在理论分析、硬件实现、算法改进、场景应用等方面均取得了阶段性的研究进展,对推动脑机接口技术的发展起到了重要的作用。但目前脑机接口仍主要局限于复杂的实验室环境。对于侵入式脑机接口而言,目前仍面临着人体排异反应及颅骨向外传输信息会减损这两大问题;非侵入式脑机接口技术则朝小型化、便携化、可穿戴化及简单易用化方向发展。随着各国对这项技术越来越重视,相信脑机接口技术的爆发未来可期。
撰稿人:易子怡