加州大学Karunesh Ganguly小组的一项最新研究研制了稳定的即插即用的脑机接口（BCI)。 相关论文于2020年9月7日发表在《自然—生物技术》顶级SCI 杂志(影响因子为36.558) 上。 原文题目为Plug-and-play control of a brain–computer interface through neural map stabilization。本文将会对论文中所提出的方法进行详细的讲解。

图1 论文发表图

1. 引言

BCI为运动障碍者提供了对复杂辅助设备进行长期、可靠和直观控制的承诺。通过使BCI控制类似于我们学习和巩固运动技能的天生能力，可能可以最好地实现此目标。尽管使用侵入性皮层内记录在瘫痪者中进行了神经修复控制的令人印象深刻的证明，但在临床翻译研究中被忽视的一个重要因素是控制的长期可靠性和整体设置时间，例如校准解码器所需的时间。将神经活动转化为控制信号。由于记录的不稳定性，当前的皮质内研究必须每天重新校准从神经参数到控制尺寸的映射。尽管很少有研究明确监测校准时间，但这可能需要30分钟以上。每天对解码器进行重新校准的要求可能会增加BCI在几天内的性能变化，并会阻碍神经可塑性的募集和控制策略的合并。过去对辅助技术的研究反复表明，设置时间和性能稳定性都是实际使用的有力预测指标。因此，无需重新校准即可实现长期稳定性能的方法（即“即插即用”（PnP））将使BCI的使用更加广泛。

ECoG是基于尖峰记录的替代方法，它随着时间的推移更加稳定，可以实现BCI控制。动物的临床前研究也表明，可以长时间可靠地记录ECoG信号，并且可以进行稳定的解码。然而，尚不清楚ECoG信号是否可用于瘫痪的个体，以巩固神经控制并实现PnP。在这里，使用了128通道的慢性ECoG植入物（一种可以多年植入的设备）来测试长期稳定控制的方法，这些方法也可以最佳地参与巩固机制。在患有严重四肢瘫痪的单个参与者中使用ECoG植入物，以高分辨率跟踪了BCI控制背后的神经表征如何随时间变化。此外，将使用想象的控制每天播种的解码器与保留权重的解码器进行了比较。使用闭环解码器适配（CLDA）可以观察到会话内的改善，它可以在用户学习控制时以逐步的方式修改解码器属性。然而，由于皮层内尖峰信号的不稳定性，这需要每日CLDA进行解码器重新校准。目前尚不清楚如何进行长期CLDA（ltCLDA，long-term closed-loop decoder adaptation，长期闭环译码器），适应过程需要几天和几周的时间。

不确定性的一个特定区域是学习率，该学习率由半衰期值定义，该值决定了如何更新解码器；更长的半衰期意味着使用更大的数据历史记录来更新解码器权重。我们发现ltCLDA可以承受可靠的PnP，其中半数天的重量可以持续几天。合并的好处是长期堆叠，这是一种能够在几天之内向现有控件添加控件维度的功能。我们的结果表明，ltCLDA利用ECoG的稳定性来实现基于控制图合并的日益复杂的控制策略。其贡献为借助机器来解码大脑的电信号，为未来的医学功能修复打开了更多的可能——比如改善阿尔茨海默病的筛查、对内部器官的监测、以及让瘫痪患者重新获得对义肢的控制能力。

2.方法

2.1 首先，通过使用ECoG(electrocorticography，皮层脑电图)阵列以这是一种侵入的方式，植入电极、将电极直接置于大脑的暴露表面，从而记录大脑皮层的电信号（一个 ECoG 阵列包括一块电极，大小就像是一张便利贴，手术中它可以放置在患者大脑表面，不论是手术环境还是术外环境均可使用），借助先进的算法来提供动力，研究人员可将大脑电信号转为各种设备的控制输入；

图2 ECoG阵列

2.2信号调节和特征提取。通过NeuroPort记录系统（Blackrock Microsystems）从ECoG网格以30 kHz的频率收集神经信号。在将信号数字化并以1 kHz采样之前，使用模拟带通滤波器（0.3–500 Hz）和具有10s时间常数的自适应滤波器（用于消除线路噪声）对信号进行滤波。然后将信号块通过以太网以5或10 Hz的采样率传输到计算机，该计算机使用定制的MATLAB软件（Mathworks）进行信号调理和特征提取。

2.3 BCI任务：

2.3.1 居中任务。指示参与者将“光标”移动到“目标”（分别是蓝色和绿色的点；图1）。将目标放置在屏幕中心，将八个外部目标以45°的间隔放置在围绕中心目标的圆上。以八次试验为一组提出了目标。在一次试验中，每个外部目标均以随机顺序出现一次。为了完成审判，该中心 光标必须与目标重叠200 ms的时间段。一次试验包括一个到达中心目标的范围和另一个到达指示的外部目标的范围。如果参与者未能在期限内（每日初始化的第一阶段为15秒，之后为25秒）选择目标，则该试验被注册为错误，光标被重置到中心。

2.3.2 点击任务。简而言之，将灰色正方形布置在4×4的网格中。一个正方形将被点亮为绿色，表明它是该试验的目标。最初，如果参与者可以将光标停留在目标上600-1000 ms的时间，则可以成功选择目标，这已针对该特定测试日的光标速度和漂移进行了优化。一旦参与者获得执行神经“点击”的能力，就可以通过将光标移动到给定的正方形并单击来选择任何正方形。然后指示参与者将光标移动到照明的目标，然后单击以做出正确的选择。每次试验后，从网格中随机选择下一个目标并立即照亮（图5a）。在不断更新光标速度（即没有间隔时间）的同时，我们在每次尝试完成后将光标位置重置为网格中心。

2.4 游标控制算法[1]参数适配[2]，分别为速度卡尔曼滤波器解码器、适应过程设置为递归最大似然问题。

2.5 点击算法。对二进制点击解码器进行了培训，使参与者可以有意识地在屏幕上选择目标。在BCI控制期间，在每个时间步骤将神经特征分为两种状态：“单击”或“不单击”。如果认为参与者正在单击并且光标位于目标上，则注册该点击并选择该目标。如果参与者没有单击，则恢复速度卡尔曼滤波器光标控制。为了对来自光标控制的点击进行分类，训练了具有L2损失函数的线性支持向量机（SVM）。线性SVM在768个维度（对应于所有ECoG功率功能）中找到最佳超平面，以将两种状态分开。由于分类仅取决于少数支持向量或数据点，因此在高维空间中效果很好，就像该特定ECoG数据集的情况一样。SVM超平面的内积与ECoG特征向量在任何时间步均产生从决策边界到神经特征的标量表示（即距离）。判定边界以下的距离被确定为单击，而边界上方的距离被确定为未单击。在线测试期间，将决策边界设置在-0.6和-0.5之间。

结果

图3 ltCLDA 带来的性能改进。

UCSF 开发的新技术，标志着该领域的研究又向前迈出了重要一步。其专注于将大脑活动转化为软件方面的行动，然后借助机器学习的算法训练。 假设这种现象的原因可能是日常想象运动数据收集和日常初始化过程中神经策略的变化。与此一致，使用单个想象会话训练的解码器很好地跟踪了光标(图1g)；图1g中的R²值是使用所有特征和显示的Vx和Vy光标速度之间的“遗漏”多元回归生成的(方法)。然而，当以系统的方式汇集多天的数据时，R²值随着每天的增加而逐渐降低(图1g)。则认为这意味着在想象的时间里，神经特征和光标速度之间的关系在几天内是不稳定的；因此，一个集合多天数据的回归模型比一个单独的会话表现更差。

图4 光标映射精制解码

通过让瘫痪患者来目视屏幕上的光标运动，可追踪其想象中的脖子或手腕部运动。在持续对算法进行定期（每日）重置之后，软件可逐步学会与用户设想相匹配的移动动作。

图5 神经表征在多个时间尺度上的稳定表现

尽管每天需要耗费数小时来实验，但这套方案可最终达成预期的控制，此外科学家们也在积极改进和探索其它方面的应用。比如调整算法，以避免每日头从开始训练。此外，研究者认为解码器更新的长时间常数(如500–5000秒)很重要，即决定过去数据如何按指数加权的λ半衰期值(方法)。通过将λ视为一个参数(以时间为单位)，可以直观地了解λ的半衰期，该参数在当前时间步长将先前估计的解码器的贡献减少了两倍。结果表明，随着时间的推移，解码器权重和卡尔曼增益随时间的变化相对较小(补充图4a，b)；固定性能也继续保持稳定(补充图4 c-e)。

图6 长期 PnP 与解码器复位的结果

经过不断完善，最终算法可允许用户即时接入并开始使用。UCSF Health 的实践神经病学家 Karunesh Ganguly 表示：通过确保算法的更新速度不会超过大脑的跟踪速度，我们可以进一步改善机器学习的速度，即大约每 10 秒钟更新一次。并且认为这是大脑和计算机这两套系统之间建立了合作关系，最终可使人机界面成为用户能力的一个延伸，让他们可以自如地操控机械义肢（手或手臂）。

图5 两组神经点击器之间的连接

实验中使用的脑机接口（BCI）被称作 ECoG 阵列，其由便签纸大小的电极板组成，可通过外科手术植入到大脑表面。在获得了特殊的批准之后，研究人员对接受植入物手术的患者开展了长期实验。结果发现，即便没有进行任何日常校准，持续 44 天后的使用性能也不会出现下降。即使用户停用了数日，性能也只会略有下降。

总结

在看到本文的研究之前，我所了解到的BCI植入大多都是有风险的，甚至会产生对植入的设备如何充电、数据中断怎么办的疑问；又或者，更新换代或者损坏维修的时候是否又得取出来。即多数人将关注点放在脑机接口产品与大脑之间的关系是否稳定这一问题上，而美国加州大学旧金山分校（UCSF）威尔神经科学研究所的科学家经研究证明：

(1)通过稳定的信号监测，让大脑和机器学习系统随着时间的推移建立起稳定的“伙伴关系” ;

(2) 瘫痪患者通过大脑活动控制电脑光标的过程可以通过机器学习做到，无需大量的再训练；

当然，读完这篇文献之后，我也会产生几个疑问：

①ECoG 电极阵列虽然能够长期、稳定地记录神经活动，但是会不会存在：随着时间推移记录的信号丢失；

②ECoG设备是通过手术植入的，按人类生理反应来说，都会存在免疫排斥，那么它的存在会不会产生后遗症。

归根结底，以上问题也还是稳定性的问题，而Karunesh Ganguly下一步研究重点是基于 ECoG 记录的稳定性对于更复杂的机器人系统（如假肢）的长期控制，还是希望有一种不会被束缚手脚、无危害、切实改善瘫痪患者的日常生活的技术。

文中出现的参考文章（其他参考文献见论文）

[1] Gilja V, Nuyujukian P, Chestek CA, et al. A high-performance neural prosthesis enabled by control algorithm design. Nat Neurosci. 2012;15(12):1752-1757. 

[2] Dangi S, Orsborn AL, Moorman HG, Carmena JM. Design and analysis of closed-loop decoder adaptation algorithms for brain-machine interfaces. Neural Comput. 2013;25(7):1693-1731. 

论文下载地址（doi）: 10.1038/s41587-020-0662-5